无忧启动论坛

标题: vdfuseloop：支持更多格式虚拟磁盘启动的Linux方式（vdi/vmdk/vhd等） [打印本页]
作者: Misty    时间: 2020-2-2 04:29
标题: vdfuseloop：支持更多格式虚拟磁盘启动的Linux方式（vdi/vmdk/vhd等）
本帖最后由 Misty 于 2021-3-21 07:00 编辑

受到 @2011niumao 大佬的启发，近日研究了如何从vhd等虚拟磁盘启动Linux。可以注意到niumao大佬的kloop方案有诸多限制：
1. 仅限VHD
2. VHD必须固定大小
而固定大小的vhd实际上和wubi所使用的raw原始格式并没有任何区别，只不过加了一个header。实际上并不需要kloop，可以手动获取到分区起始位置并使用-o loop, offset=XXXX。所以其实和wubi方案并没有太大差别，都是物理设备 → loop partition → ext4

这明显丧失了虚拟磁盘的快照、 动态容量等各种特性，满足不了需求。经过一段时间的查找，找到国外网友使用vdfuse来支持多种虚拟磁盘读写的方案:
https://unix.stackexchange.com/questions/309900/deploy-linux-into-and-boot-from-vhd/465215#465215

思路（原理及调试方法见最下面）：
vdfuse借助开源项目virtualbox的内核模块读写virtualbox支持的格式（至少有vmdk、vhd、vdi），从而挂载出loop，并可以支持动态大小的虚拟磁盘文件。
上面连接中的回答时间很新，所以操作基本都可以正常执行。经过实践，我总结出来了这些步骤

编译安装vdfuse

1. 安装依赖（注：还需要安装svn和git，请自行安装）：sudo apt install libfuse-dev virtualbox pkg-config
2. 下载vdfuse： vdfuse年久失修，利用github的fork network追踪功能，发现有一个人将其fork并适配了新版的vbox 6.0.2，仅有少量编译错误需要修改。我已经把编译错误修复：https://github.com/NyaMisty/vdfuse
3. 编译并安装vdfuse：执行这些命令（注：可能需要挂代理）

dracut方案：
dracut可以在systemd关机后返回initramfs从而得以让我们正确卸载vhd。

(0. 安装dracut：sudo apt install dracut)
1. 同上编译安装vdfuse，然后执行sudo cp /usr/local/bin/vdfuse /usr/bin/vdfuse
2. 下载或克隆https://github.com/NyaMisty/dracut-vdfuseloop
3. 将90vdfuseloop复制到/usr/lib/dracut/modules.d
4. 修改/etc/dracut.conf.d/10-debian.conf，修改hostonly=no，在add_drivers一行前加#注释掉
5. 执行sudo dracut -f生成initramfs
6. 将生成好的/boot/initramfs-XXXXX.img和vmlinuz复制出来供引导
7. 编辑/usr/lib/dracut/dracut-initramfs-restore，找到其中的[[ -f $IMG ]] || IMG="/boot/XXXXXXXXXX"，将其对应修改为dracut生成的img的文件名格式，如[[ -f $IMG ]] || IMG="/boot/initramfs-${KERNEL_VERSION}.img"
8. 配置grub参数
  1. iftitle [ find --set-root --ignore-floppies --ignore-cd  /VMs/LinuxWorkspace/LinuxWorkspace.vmdk ] 启动Ubuntu
  2. find --set-root --ignore-floppies --ignore-cd  /VMs/LinuxWorkspace/LinuxWorkspace.vmdk
  3. uuid ()
  4. kernel /ubuntuvm-vhd-helper/vmlinuz  rw rd.hostdev=UUID=%?% rd.vdisk=/VMs/LinuxWorkspace/LinuxWorkspace.vmdk rd.vdloop=/dev/vdhost/Partition1 rd.debug rd.shell verbose nomodeset
复制代码


initramfs-tool方案 (已废弃，仅作为记录保留)：
initramfs-tool方案难以解决关机Buffer IO问题，如有高手解决可以考虑共享

（1-3接编译vdfuse）
4. 修改hooks使得vdfuse工具被包含到initramfs中
sudo gedit /usr/share/initramfs-tools/hooks/vdfuse

  1. #!/bin/sh -e
  2. PREREQ=""
  3. prereqs()
  4. {
  5.     echo "$PREREQ"
  6. }

  8. case "$1" in
  9.     prereqs)
  10.     prereqs
  11.     exit 0
  12.     ;;
  13. esac

  15. . /usr/share/initramfs-tools/hook-functions

  17. copy_exec /bin/ntfs-3g /sbin
  18. copy_exec /usr/local/bin/vdfuse /sbin
复制代码
5. 修改init-top实现自定义文件系统挂载逻辑
sudo gedit /usr/share/initramfs-tools/scripts/init-top/vdfuse

  1. #!/bin/bash -e
  2. PREREQ="udev"
  3. prereqs()
  4. {
  5.     echo "$PREREQ"
  6. }

  8. case "$1" in
  9.     prereqs)
  10.     prereqs
  11.     exit 0
  12.     ;;
  13. esac

  15. if [ ! -z $vdisk ]; then
  16.     mkdir /vdhost
  17.     mkdir /dev/vdhost
  18.     exec -a @ntfs-3g ntfs-3g $host /vdhost/
  19.     exec -a @vdfuse vdfuse -t VMDK -f /vdhost$vdisk /dev/vdhost
  20.     mount -t ext4 $ROOT /root
  21. fi
复制代码
注1：vdfuse的-t参数为虚拟磁盘的格式，请根据自己的虚拟磁盘来配置，支持VMDK/VHD/VDI三个值
注2：此处niumao前辈利用patch ntfs3g实现了防止buffer io的错误，但是实际上可以通过简单的exec传参来让argv[0][0] == "@"。方法来源于https://github.com/systemd/systemd/issues/13981
注3：虽然配置了ntfs3g和vdfuse不被kill，但仍然会出现buffer I/O error，原因不明


6. 修改init-bottom
sudo gedit /usr/share/initramfs-tools/scripts/init-bottom/vdhost
  1. #!/bin/sh -e
  2. PREREQ=""
  3. prereqs()
  4. {
  5.     echo "$PREREQ"
  6. }
  7. case "$1" in
  8.     prereqs)
  9.     prereqs
  10.     exit 0
  11.     ;;
  12. esac
  13. if [ -d ${rootmnt}/vdhost ]; then
  14.     mount -n -o move /vdhost ${rootmnt}/vdhost
  15. fi
复制代码


6. 设置权限
  1. sudo chmod +x /usr/share/initramfs-tools/hooks/vdfuse
  2. sudo chmod +x /usr/share/initramfs-tools/scripts/init-top/vdfuse
  3. sudo chmod +x /usr/share/initramfs-tools/scripts/init-bottom/vdhost
复制代码

7. 生成initramfs，并拷贝initrd.img和vmlinuz
具体方法参见niumao前辈的文章

8.  设置grub参数
这里仅列出grub4dos的参数设置（抄自niumao大佬）
  1. iftitle [ find --set-root --ignore-floppies --ignore-cd  /VMs/LinuxWorkspace/LinuxWorkspace.vmdk ] 启动Ubuntu
  2. find --set-root --ignore-floppies --ignore-cd  /VMs/LinuxWorkspace/LinuxWorkspace.vmdk
  3. uuid ()
  4. kernel /ubuntuvm-vhd-helper/vmlinuz  root=/dev/vdhost/Partition1 host=/dev/XXXX vdisk=/VMs/LinuxWorkspace/LinuxWorkspace.vmdk verbose nomodeset
  5. initrd /ubuntuvm-vhd-helper/initrd.img
复制代码

其中host参数代指vhd所在物理磁盘的分区设备文件路径；
root代指vhd挂载后linux rootfs所在分区（vdfuse挂载后会在/dev/vdhost下形成EntireDisk以及各个分区，如Partition1。一般均为Partition1，即第一个主分区）
vdisk代指vhd所在分区中的路径
kernel和initrd的路径设置为复制出来的路径

此处参数设置错误时或不知道具体值时，可以随便填写，initramfs会自动出错，并弹出shell供诊断。相应的查看各个参数对应信息即可

grub2配置可以根据niumao前辈的配置照葫芦画瓢



原理：
vdfuse与kpartx不同，会有进程驻留。vdfuse方案是物理设备 → vdfuse → loop partition → ext4，可以注意到比kpartx多了一级，这导致了systemd默认的卸载方式无法正常卸载掉vhd。
initramfs-tool提供的结构并不能很好的控制systemd，所以我没能实现解决buffer io的问题
dracut相比initramfs-tool与systemd结合更紧密，因而更容易控制systemd对我们挂载点的操作。所以我们得以借助dracut的强大功能解决buffer io error。

1. 用exec -a @ntfs-3g ntfs-3g方法挂载hostdev到/dev/host，避免被systemd关机时杀掉。挂载到/dev下在关机流程会被systemd忽略，从而避免被remount为ro（见systemd/src/core/umount.c/umount.c）
2. 用exec -a方法挂载vdfuse到/dev/vdhost。原理同上
3. 不提供root参数，使用mount hook，从而避免dracut使用systemd的挂载和设备探测功能（systemd对于loop设备支持较差）
4. 进行pre-shutdown hook，关机前按顺序卸载ext4、vdfuse、ntfs，从而避免buffer i/o error


调试方法：
1. initramfs-tool方案调试方法：添加参数： debug systemd.log_level=debug systemd.log_target=kmsg log_buf_len=1M printk.devkmsg=on enforcing=0
2. dracut方案调试方法： 添加参数debug rd.break=pre-shutdown rd.break=shutdown debug systemd.log_level=debug systemd.log_target=kmsg printk.devkmsg=on enforcing=0 log_buf_len=10M verbose nomodeset rd.udev.debug rd.timeout=300 rd.break=initqueue rd.break=pre-mount rd.break=mount






作者: Misty    时间: 2020-2-2 06:42
本帖最后由 Misty 于 2021-3-21 07:35 编辑

更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后，复制grub/grub-core/vmsnap.mod到grub2的i386-pc目录下
2. 重新从github上下载dracut-vdfuseloop
3. 使用grub2引导：
  1. <blockquote><blockquote>menuentry 'Start Ubnutu'  --class ubuntu  {
复制代码

vmsnap模块的作用是解析vmx文件中的snapshot树，然后按顺序传入传入到内核参数中


需要注意的是如果snapshot传入的参数错误，则可能父盘被意外写入，导致整个磁盘无法使用，所以grub中预留了prompt供用户检查当前磁盘文件名是否正确，请务必仔细检查，如有错误请直接关机



作者: newliz    时间: 2020-2-2 11:39
很详细！
作者: yang77    时间: 2020-2-4 22:38
喜欢听大佬们技术分析
作者: studyggm    时间: 2020-2-4 23:25
技术贴，标记了
作者: yang77    时间: 2020-2-19 23:00
非常棒的技术贴，收藏
作者: atmgnd    时间: 2020-2-21 17:48
qemu-img 创建的vhd WINDOWS为什么不能用，有知道的吗？
作者: nianyueriPE    时间: 2020-8-27 19:25
请问我以前安装了vbox，已经有vdfuse命令，还要编译安装vdfuse吗？
作者: Blan77    时间: 2020-9-1 22:30
很给力！ 完全同意
作者: 2011goodluckwxl    时间: 2020-10-10 19:24
有个问题就是我每次运行起来报错
作者: ytqxg    时间: 2020-11-2 20:08
太复杂了，都是程序员之间的讨论，有没有更简单直接可操作性的方案啊。把linux装进VHDX启动。
作者: chensjiu    时间: 2020-11-3 10:20
没看懂，纯粹支持一下
作者: qins2020    时间: 2020-11-26 21:53
66666666666666666666
作者: samsung4203    时间: 2020-11-27 11:03

非常棒的技术贴，收藏
作者: wangziqiang    时间: 2020-11-29 20:56
一说代理 就放弃了，麻烦啊，
作者: wdtx    时间: 2020-12-6 17:01
技术贴，学习学习。。。
作者: lijingjack    时间: 2020-12-22 10:32
按照这个思路，理论上qcow2也可以通过qemu-nbd来支持吧，但是实际上不行，不知道问题出在哪里，vmdk我已经尝试成功了。
作者: Misty    时间: 2021-3-21 06:55
lijingjack 发表于 2020-12-22 10:32
按照这个思路，理论上qcow2也可以通过qemu-nbd来支持吧，但是实际上不行，不知道问题出在哪里，vmdk我已经 ...

那就得看看qemu-nbd为啥没挂载上了hhh
可以自己调试看看
作者: 2011niumao    时间: 2021-3-21 07:11
我使用kloop那个模式，在initrd.img挂载
作者: 2011niumao    时间: 2021-3-21 07:13
在内存盘系统initrd.img 里加入nbd模块和qemu－nbd 命令后挂载启动动态vhd成功了。
作者: 2011niumao    时间: 2021-3-21 07:17
另外，最近发现另一种可写挂载ntfs分区的方法，其挂载格式是ufsd ,可以安装到ubuntu上，用它代替ntfs-3g, 不需要改写源文件，就可以避免buffer io 错误。
作者: 2011niumao    时间: 2021-3-21 07:21
论坛里就有帖子，“关于paragon ntfs驱动(ufsd)性能的问题请教”
作者: Misty    时间: 2021-3-21 08:27
2011niumao 发表于 2021-3-21 07:17
另外，最近发现另一种可写挂载ntfs分区的方法，其挂载格式是ufsd ,可以安装到ubuntu上，用它代替ntfs-3g,  ...

哦是paragon的那个驱动啊，感觉确实会好用一些，但是感觉这种闭源驱动配置起来都不简单，我个人感觉正确使用ntfs3g就够了（用dracut已经解决buffer io错误了）

这个帖子主要是想把vmware虚拟机起起来（这样既可以在vmware里跑，又可以在需要的时候拿出来跑）
作者: faoao    时间: 2021-4-1 19:53
标题: 求助vdfuse编译安装，和grub2启动项编写
本帖最后由 faoao 于 2021-4-13 17:25 编辑

我的系统是 ubuntu20.04 用VMware安装在vmdk里，自动分了 /boot/efi 和 /根目录两个分区

1、vdfuse编译安装问题
./fetch_vbox_headers.sh 执行有问题（是不是仓库地址改了？），我直接从 https：//download、virtualbox、org/virtualbox/6.1.18/VirtualBox-6.1.18.tar.bz2 下载的源码提取了include文件夹放入vdfuse中（能不能行？）。
后面的 make 和 sudo make install 执行感觉有问题
  1. w@X:~/下载/vdfuse$ make
  2. gcc -DHAVE_CONFIG_H -I. -I./src    -Iinclude -I/usr/include/fuse -D_FILE_OFFSET_BITS=64 -MT vdfuse.o -MD -MP -MF .deps/vdfuse.Tpo -c -o vdfuse.o `test -f 'src/vdfuse.c' || echo './'`src/vdfuse.c
  3. src/vdfuse.c: In function ‘main’:
  4. src/vdfuse.c:272:7: warning: passing argument 5 of ‘VDInterfaceAdd’ makes integer from pointer without a cast [-Wint-conversion]
  5.   272 |   if (RT_FAILURE(VDInterfaceAdd(&vdError, "VD Error", VDINTERFACETYPE_ERROR,
  6.       |       ^~~~~~~~~~
  7.       |       |
  8.       |       void *
  9. In file included from include/VBox/vd.h:42,
  10.                  from src/vdfuse.c:114:
  11. include/VBox/vd-ifs.h:155:39: note: expected ‘size_t’ {aka ‘long unsigned int’} but argument is of type ‘void *’
  12.   155 |                                size_t cbInterface, PVDINTERFACE *ppVDIfs)
  13.       |                                ~~~~~~~^~~~~~~~~~~
  14. mv -f .deps/vdfuse.Tpo .deps/vdfuse.Po
  15. gcc -Iinclude -I/usr/include/fuse -D_FILE_OFFSET_BITS=64 -Wl,-rpath,/usr/lib/virtualbox  -o vdfuse vdfuse.o /usr/lib/virtualbox/VBoxDDU.so -lfuse -pthread
复制代码

2、grub2启动项编写问题

我的grub启动项参照 niumao大佬的改的
  1. menuentry 'VBUNTUFIX linux' --class ubuntu --class gnu-linux --class gnu --class os {
  2.         insmod gzio
  3.         insmod part_msdos
  4.         insmod part_gpt
  5.         insmod ext2
  6.         insmod ntfs
  7.         insmod probe
  8.         insmod search
  9.         search --no-floppy -f --set=aabbcc /Ubuntu/Ubuntucl.vmdk
  10.         set root=${aabbcc}
  11.         probe -u --set=ddeeff ${aabbcc}
  12.         linux /Ubuntu/vmlinuz root=UUID=${ddeeff} vloop=/Ubuntu/Ubuntucl.vmdk vlooppart=p1
  13.         initrd /Ubuntu/initramfs-5.8.0-48-generic.img
  14. }
复制代码
但是还是进不了系统，进入了 dracut: 的命令行
我现在不知道是vmdk系统中软件还没安装配置好，还是grub2启动项没编辑好。麻烦大佬帮忙修改下
作者: faoao    时间: 2021-4-1 20:59
本帖最后由 faoao 于 2021-4-13 17:27 编辑

已在上一楼修改，请删除本楼
作者: minmax    时间: 2021-9-22 21:35
本帖最后由 minmax 于 2021-9-23 20:54 编辑

vdfuse 讚
作者: minmax    时间: 2021-9-25 22:14
有哪位完成此帖 可以分享 完成的档案 感谢
作者: Blan77    时间: 2021-10-20 18:44
I would like to study it
作者: fendou00    时间: 2021-11-3 11:09
赞
作者: zhangxuwang    时间: 2021-11-10 10:32
大佬，想用动态vhd装linux，能否出个详细的教程
作者: y4h3z4    时间: 2022-3-8 20:54
zhangxuwang 发表于 2021-11-10 10:32
大佬，想用动态vhd装linux，能否出个详细的教程

我也在等待大佬的详细教程
作者: kero990    时间: 2022-3-11 12:36
我有两个问题
第一，如果我不用win，我只是多个linux的多系统，但不想多分区，我该怎么做
我的考虑是，vhd并不是linux下的常规虚拟磁盘格式，使用vhd格式更多的需求是win作为主系统的需求。那么如果摒弃vhd这种格式，只考虑将linux装进一个虚拟磁盘文件，无论它是raw，crow2，会不会更简单一些。

第二，我目前折腾的这台机器是个国产机，也就是arm64架构，既然这个方案是用的vbox的解决方案，那么它能否支持arm64架构的linux呢？
作者: want20    时间: 2022-11-23 17:44
lijingjack 发表于 2020-12-22 10:32
**** 作者被禁止或删除 内容自动屏蔽 ****

qemu-nbd 挂载 动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功挂到 sysroot上的，也手动验证了，但是在 switch root 的时候，qemu-nbd 就立马断开连接了（shutting down socket），ps 看进程结束了，猜测是 systemd kill 掉了。exec 的方案也无效，但是理论上来说 vdfuse 都可以挂载到进入系统，qemu-nbd 原理也是一样的，不知道怎么整了emmm，大佬给点建议呗
作者: want20    时间: 2022-11-23 18:58
qemu-nbd 挂载 动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功挂到 sysroot上的，也手动验证了，但是在 switch root 的时候，qemu-nbd 就立马断开连接了（shutting down socket），ps 看进程结束了，猜测是 systemd kill 掉了。exec 的方案也无效，但是理论上来说 vdfuse 都可以挂载到进入系统，qemu-nbd 原理也是一样的，不知道怎么整了emmm，大佬给点建议呗
作者: 2011dingfei    时间: 2022-12-14 15:26
Misty 发表于 2020-2-2 06:42
更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后 ...

吊炸天了！怎么不更新了！正需要这个功能
作者: 2011dingfei    时间: 2022-12-19 21:50
Misty 发表于 2020-2-2 06:42
更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后 ...

uefi能用了吗
作者: fendou00    时间: 2023-1-11 17:34
试了一下，没成功， 打印：
Gave up waiting for root file system device.Common problems:
- Boot args(cat /proc/cmdline)
-Check rootdelay= ( did the system wait long enough?)
- Missing modules (cat /proc/moudles;ls /dev)
ALERT! /dev/vdhost/Partition2 does not exist. Dropping to a shell!

有尝试成功的大佬吗？
作者: ZMLoveLH    时间: 2023-1-12 16:38
看看楼主的教程，学习那些支持虚拟磁盘启动的Linux方式
作者: 2013qwaszx    时间: 2023-2-5 00:32
补充一下：dracut方案《第四步》中，fedora 37中/etc/dracut.conf.d/为空目录，没有任何配置文件。
可以在第五步中增加选项-N，即
  1. dracut -f -N
复制代码
，在生成时指定hostonly模式。
作者: paodiao    时间: 2023-5-8 20:50
want20 发表于 2022-11-23 18:58
qemu-nbd 挂载 动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功 ...

老哥，我也在看使用qemu-nbd启动qcow2的问题，你有研究出什么结果没？感谢！
作者: want20    时间: 2023-5-29 15:34
paodiao 发表于 2023-5-8 20:50
老哥，我也在看使用qemu-nbd启动qcow2的问题，你有研究出什么结果没？感谢！

没，qemu-nbd始终无法起来，还是老问题，可以用vboximg-mount替代，vdfuse只支持mbr，vboximg-mount支持mbr和gpt，但是都需要装个vbox，想把其提取出来，但是vbox为了做多平台，代码还不好提。目前知道几个方案，libguestfs-tools和nbdfuse有些镜像分区读不出？libvhd只支持读，blktap没试过。
作者: want20    时间: 2023-5-29 15:38
want20 发表于 2023-5-29 15:34
没，qemu-nbd始终无法起来，还是老问题，可以用vboximg-mount替代，vdfuse只支持mbr，vboximg-mount支持m ...

以上针对vhd而言，差分qcow2应该有其他挂载工具吧，vhd比较麻烦
作者: want20    时间: 2023-5-29 15:48
kero990 发表于 2022-3-11 12:36
我有两个问题
第一，如果我不用win，我只是多个linux的多系统，但不想多分区，我该怎么做
我的考虑是，vh ...

显然不支持，vbox除了apple的m系列外目前不支持arm，当然把挂载工具vdfuse换成支持arm的即可
作者: ghosthark    时间: 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd挂载成功了
但是drauct改写时nbd被断开显示IO  error
[  568.600126] fedora kernel: block nbd1: shutting down sockets
[  568.603241] fedora kernel: blk_print_req_error: 11 callbacks suppressed
[  568.603244] fedora kernel: I/O error, dev nbd1, sector 97519872 op 0x0:(READ) flags 0x3000 phys_seg 1 prio class 2
[  568.603260] fedora systemd-journald[292]: Received SIGTERM from PID 1 (systemd).
[  568.603774] fedora kernel: EXT4-fs error (device nbd1p2): __ext4_get_inode_loc_noinmem:4687: inode #3014657: block 12058656: comm systemd: unable to read itable block
作者: ghosthark    时间: 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd挂载成功了
但是drauct改写时nbd被断开显示fedora kernel: I/O error
作者: 2011niumao    时间: 2023-6-16 10:25
本帖最后由 2011niumao 于 2023-6-16 10:30 编辑
ghosthark 发表于 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd ...

看看我这个方案。好像我也没有成功，但是Ubuntu系统qemu-nbd是成功了的，只是明显感觉到系统迟钝。
注意，引导参数是 qemu-nbd. 它的值是vhd文件的含路径的名称。

注意，需要安装ntfs-3g,  最好是我修订过的ntfs-3g



  1. ########################################################################
  2. ###                           KLOOP by niumao                        ###
  3. ########################################################################

  5. QEMUNBD=$(getarg qemunbd=)

  7. export QEMUNBD


  10. if [ -n "$QEMUNBD" ]; then

  12.         ### reset the value of the root variable
  13.         HOSTDEV="${root#block:}"
  14.         [ -n "$KROOT" ]  ||  root="/dev/loop0"
  15.         [ -n "$KROOT" ]  &&  root="$KROOT"
  16.         realroot="$root"
  17.         export root
  18.         if ismounted "$NEWROOT"; then
  19.                 umount "$NEWROOT"
  20.         fi
  21.                         
  22.         ###  auto probe the fs-type of the partition in which vhd-file live and mount it  /host
  23.         mkdir -p /host
  24.         if [ -z "${HOSTFSTYPE}" ]; then
  25.                 HOSTFSTYPE="$(blkid -s TYPE -o value "$HOSTDEV")"
  26.                 [ -z "${HOSTFSTYPE}"  -o  "${HOSTFSTYPE}" = "ntfs" ] && HOSTFSTYPE="ntfs-3g"
  27.         fi
  28.         [ "${HOSTFSTYPE}" = "ntfs-3g" ] || modprobe ${HOSTFSTYPE}
  29.         mount -t "${HOSTFSTYPE}" -o rw   $HOSTDEV /host
  30.         
  31.         ### mount the vhd-file on a loop-device
  32.         if [ "${QEMUNBD#/}" != "${QEMUNBD}" ]; then
  33.                 modprobe  nbd
  34.                 [ -e /host$QEMUNBD ] || sleep 3
  35.                 qemu-nbd -c /dev/nbd0 /host$QEMUNBD
  36.                 kpartx -av /dev/nbd0
  37.                 [ -e "$realroot" ] ||  sleep 3
  38.         fi

  40.         ### mount the realroot / in vhd-file on $NEWROOT
  41.         if [ -z "${KLOOPFSTYPE}" ]; then
  42.                 KLOOPFSTYPE="$(blkid -s TYPE -o value "$realroot")"
  43.                 [ -z "${KLOOPFSTYPE}" ] && KLOOPFSTYPE="ext4"
  44.         fi
  45.         [ -e "$realroot" ] || sleep 3
  46.         mount -t "${KLOOPFSTYPE}" -o rw $realroot $NEWROOT
  47.         
  48.         ### mount /host in initrd to /host of the realrootfs
  49.         if [  "${HOSTHIDDEN}" != "y" ] ; then
  50.                 [ -d "${NEWROOT}"/host ] || mkdir -p ${NEWROOT}/host
  51.                 mount -R /host   ${NEWROOT}/host
  52.         fi

  54. fi


  57. ########################################################################
  58. ###                        END,  KLOOP by niumao                     ###
  59. ########################################################################
复制代码
作者: 2011niumao    时间: 2023-6-16 10:35
ghosthark 发表于 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd ...

是不是应该首先在vhd内系统的内核设置一下，block的黑名单或者白名单？再重新制作initramfs使用此内核引导。
作者: ghosthark    时间: 2023-6-16 21:10
2011niumao 发表于 2023-6-16 10:25
看看我这个方案。好像我也没有成功，但是Ubuntu系统qemu-nbd是成功了的，只是明显感觉到系统迟钝。
注意 ...

感谢大佬回复，我尝试使用该脚本但是还是没有正常引导 我的环境是fedroa 38  efi分区 +EXT4(/分区)   
grub2 配置如下
  1. menuentry 'kloop-dracut' --class ubuntu {
  2.         insmod gzio
  3.         insmod part_msdos
  4.         insmod part_gpt
  5.         insmod ext2
  6.         insmod ntfs
  7.         insmod probe
  8.         set vhdfile="/CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/kloop_dracut.vhd"
  9.         set root=(hd1,gpt2)
  10.         search --no-floppy -f --set=aabbcc  $vhdfile
  11.         set root=${aabbcc}
  12.         probe -u --set=ddeeff ${aabbcc}
  13.         linux        /CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/vmlinuz rw root=UUID=${ddeeff} qemunbd=$vhdfile kroot=/dev/nbd1p2   selinux=0  rd.debug rd.shell
  14.         initrd       /CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/initrd.img
  15. }
复制代码


返回debug 如下123网盘后加 /s/PP7lVv-YAOC.html提取码:IJnn
作者: ghosthark    时间: 2023-6-16 21:56
kpartx -av 操作将分区挂载到了/dev/mapper 下 修改grub2配置 kroot=/dev/mapper/nbd1p2 一直滚动输出 卡在starting draut-pre-udev.service  -  rule-based manager for devievents and files
作者: 2011niumao    时间: 2023-6-17 14:18
ghosthark 发表于 2023-6-16 21:56
kpartx -av 操作将分区挂载到了/dev/mapper 下 修改grub2配置 kroot=/dev/mapper/nbd1p2 一直滚动输出 卡 ...

kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？
作者: ghosthark    时间: 2023-6-18 18:10
2011niumao 发表于 2023-6-17 14:18
kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

ktoot=/dev/mapper/nbd1p2 和
kroot=/dev/npd1p2 加 注释掉kprat后的运行结果一样
问题照片如下

www点123pan点com/s/PP7lVv-i9OC.htm
作者: ghosthark    时间: 2023-6-19 22:18
本帖最后由 ghosthark 于 2023-6-19 23:54 编辑
2011niumao 发表于 2023-6-17 14:18
kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

通过增加grub debug rd.break=pre-shutdown rd.break=shutdown  rd.udev.debug  rd.break=pre-mount rd.break=mount
以及在增加 blockdev 之后进入到了initqueue 阶段 增加rd.break=initqueue rd.initqueue.debug 后发现内核模块丢失无法通过modprobe加载包括fuse  ntfs  nvme在内的所有模块并且ntfs-3g 挂载也无法操作
作者: duhe303    时间: 2023-6-19 22:36
很详细。。。
作者: ghosthark    时间: 2023-6-30 00:18
fedroa dracut 方式

vdfuseloop 方式使用qmeu-nbd 替换vdfuse 操作会导致卡在initqueue
kloop方案改写也有相同问题

arch
kloop_mkinitcpio 使用qemunbd  rootfs下提示 ntfs-3g 已挂载 但是umount 之后依然无法挂载 并且使用kloop的ntfs-3g make中很多报错 因此使用的是ntfs-3g+fuse2的包 但是这个似乎挂载时有用户权限问题
至此 只有参照楼主initramfs-tool方案改写qemu成功了
全部资料信息github.com/MobtgZhang/VHD-Boot
如果有成功实现 dracut mkinitcpio 实现使用qemu-nbd 方式挂载动态vhd 成功的方案可以分享一下不胜感激
作者: 2011niumao    时间: 2023-7-3 13:50
标题: 把qemu-nbd命令装入内核初始镜像盘
本帖最后由 2011niumao 于 2023-7-3 14:01 编辑
ghosthark 发表于 2023-6-30 00:18
fedroa dracut 方式

vdfuseloop 方式使用qmeu-nbd 替换vdfuse 操作会导致卡在initqueue

对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。
不然，内核挂载好动态vhd文件所在分区后，找不到qemu-nbd命令，是无法挂载动态vhd的、
使用以下一个命令来制作initramfs，不用修改配置文件(在add-drivers参数后面是否应该加入 nbd 存疑，下面arch同理)
  1. sudo dracut  -i /home/niumao/mydracut/10-vhdmount-kloop.sh /lib/dracut/hooks/pre-mount/10-vhdmount-kloop.sh  --no-hostonly  --install " vi /etc/virc ps grep cat rm blkid losetup  kpartx partx mount.fuse mount.ntfs-3g ntfs-3g shutdown  qemu-nbd "   --add-drivers  "fuse dm-mod nbd"  -o " plymouth btrfs crypt  cifs fcoe fcoe-uefi iscsi nfs"  /home/niumao/dracut-fedora-kloop
复制代码
关于arch有同样的问题，不过因为不是dracut模式，可以选择修改配置文件后重新制作initramfs
  1. sudo  gedit /etc/mkinitcpio.conf
复制代码
修改地方大体如下
  1. BINARIES="losetup partx mount.fuse mount.ntfs-3g ntfs-3g shutdown qemu-nbd "
  2. MODULES="fuse ntfs loop  nbd"
复制代码
作者: ghosthark    时间: 2023-7-28 10:43
2011niumao 发表于 2023-7-3 13:50
对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。 ...

配置正确之后还是异常 返回
Starting initrd-switch-root.service - Switch Root...
[
170.773548] blk_print_req_error: 2 callbacks suppressed
170.773551] I/O error, dev nbdi, sector 42946816 op 0x0:(1READ) flags 0x3000 phys_seg 1 prio class 2
[ 170.773607] systemd-journald[5138]: Received SIGTERMfrom PID 1 (systemd)
170.774783] EXT4-fs error (device nbd1p2):__ext4_get_inode_loc_noinmem:4493: inode #1310721: block 5242912: comm systemd: un
able to read itable block
[ 170.775600] I/O error, dev nbdi, sector 1003520 op 0x1:(WRITE) flags 0x23800 phys_seg 1 prio class 2
[ 170.776124] Buffer I/O error on dev nbdip2, logicalblock 0, lost sync page write
[ 170.776402] EXT4-fs (nbd1p2): I/O error while writing superblock
[ 170.801244] systemd[1]: systemd 253.7-1.fc38 runniing in system mode (+PAM +AUDIT +SELINUX -APPARMOR +IMA +SMACK +SECCOMP -GCR
YPT +GNUTLS +OPENSSL +ACL +BLKID +CURL +ELFUTILS +FIDOZ +IDNŽ -IDN -IPTC +KMOD +LIBCRYPTSETUP +LIBEDISK +PCREZ +PWQUALITY +P11KI
T +QRENCODE +TPM2 +BZIP2 +LZ4 +XZ +ZLIB +ZSTD +BPP_FRAMEWORK +XKBCOMMON +UTMP +SYSUINIT default-hierarchy=unified)
[]
170.802266] systemd[1]: Detected virtualization vware
[ 170.802661] systemd[1]: Detected architecture x86-644.
[ 170.803121] systemd[1]: Running in initrd.
作者: want20    时间: 2023-7-31 11:53
本帖最后由 want20 于 2023-7-31 11:59 编辑
ghosthark 发表于 2023-7-28 10:43
配置正确之后还是异常 返回
Starting initrd-switch-root.service - Switch Root...
[

用qemu-nbd是会这样的，我都没成功过，initramfs-tool 和 dracut 都是 switch root 的时候卡 io error，目前我的方案是自己写的挂载工具，可以实现 x86 和 arm 的挂载，但是 initramfs-tool 的关机无论是用 vdfus 还是 vboximg-mount 会容易卡死，挂载的镜像设备卸载不掉，dracut 关机脚本写好了就不会。单纯自己使用的话完全可以用 vboximg-mount 做，虽然要装 vbox，且不能移植到arm平台。
引导起来只是第一步，后续还在解决断电文件系统损坏，镜像损坏等问题，至于性能方面，只要挂载工具没做 direct io 或者每次写都加同步的话，还是很不错的。加了 direct io 或者 实时同步到 disk 的话 io 性能会大大下降。

此外，给 grub 加个 vhd 的只读模块就不用把内核镜像拷出来了，挂起来直接引导。目前打算研究一下 ventoy 的实现，看下会不会更优雅一点。
作者: ghosthark    时间: 2023-8-10 22:14
want20 发表于 2023-7-31 11:53
用qemu-nbd是会这样的，我都没成功过，initramfs-tool 和 dracut 都是 switch root 的时候卡 io error， ...

initramfs-tool 我没有遇到问题
dracut  目前定位到没有加--uefi参数  可以进入rootfs 但是没有成功启动
grub 加个 vhd 的只读模块 这个怎么实现 可以分享一下吗 loopback ？似乎不支持动态磁盘
如果可以有支持动态磁盘的通用方案可以分享一下吗
作者: ghosthark    时间: 2023-8-20 19:48
2011niumao 发表于 2023-7-3 13:50
对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。 ...

经过这段时间尝试已经成功实现arch 原因在于  lo设备没有分配网络地址和qemu依赖/var/lock中存放链接文件
增加
  1. mkdir -p /var/lock
  2. addr add 127.0.0.1/8 dev lo
  3. ip link set lo up
复制代码

之后正常启动 但是存在关机异常 但基本可用
fedroa 的dracut 还是没有头绪，目前只能定位到在initrd阶段正常但后续过程中导致了nbd设备和模块被kill 继续尝试中
作者: want20    时间: 2023-9-14 11:50
本帖最后由 want20 于 2023-9-14 11:54 编辑
ghosthark 发表于 2023-8-10 22:14
initramfs-tool 我没有遇到问题
dracut  目前定位到没有加--uefi参数  可以进入rootfs 但是没有成功启 ...

提示一下，参考vboot的vhd模块，自己改。他本身是支持动态vhd的，但是不支持差分，可以自己加差分的支持。没差分也问题不大，就是更新initrd后记得压到第一级镜像。这一part经过长时间测试，非常稳定。外部因素，暂时无法分享代码，望理解。
作者: 假大空    时间: 2023-11-14 08:49
linux vhd差分这个没弄明白
作者: ghosthark    时间: 2024-2-19 15:33
求教qemu-nbd 的动态磁盘引导方式已经尝试过  github.com/MobtgZhang/VHD-Boot/blob/master/kloop/fedora-kloop/README.md]以及github.com/MobtgZhang/VHD-Boot/blob/master/vdfuseloop/README.md 都卡在启动中
作者: 2011admlee    时间: 2024-5-10 23:42
严格按照你的方法制作，结果不成功，你的dracut方案中菜单是不是有错误，kernel后怎么没有下一行命令：initrd这个命令行。到底可不可行，别忽悠人。
作者: 2011admlee    时间: 2024-5-10 23:43
严格按照你的方法来，还是启动不了，你的dracut方案中grub4dos菜单是不是有错，kernel命令行下一行呢？
作者: jyaken    时间: 2024-6-2 14:12
真是神仙，看了大佬的github，赞叹
作者: cqlive    时间: 2024-6-14 15:15
技术贴啊
作者: arkuon    时间: 2024-6-25 19:01
大佬牛逼
作者: purple305    时间: 2024-7-31 10:10
dracut方案启动没有成功，报systemd-udevd: worker exited。 用的是动态VHD，vdfuse可以挂载动态VHD吗？
作者: purple305    时间: 2024-7-31 11:05
@2011niumao  initramfs-tool+NBD+动态VHD可以成功切换启动，就是关机有io error，怀疑需要修改Systemd或shutdown。

dracut方案+动态VHD不成功，目前看dracut的脚本应该都执行了，最后进系统时报错。@minmax 这个方案你是否成功了，能分享一下成功的详细流程吗？
作者: 我是下错    时间: 2024-8-12 13:09
感谢分享
作者: 我是下错    时间: 2024-8-12 23:50
好东西
作者: 75344840    时间: 2024-8-31 20:49
讨论都看了，为啥都是虚拟机环境。物理机下不是更真实吗？
作者: 旭东    时间: 2024-9-9 22:32
感谢分享了



欢迎光临 无忧启动论坛 (http://bbs.wuyou.net/) Powered by Discuz! X3.3