vdfuseloop：支持更多格式虚拟磁盘启动的Linux方式（vdi/vmdk/vhd等）

y4h3z4 · 发表于 2022-3-8 20:54:29

zhangxuwang 发表于 2021-11-10 10:32
大佬，想用动态vhd装linux，能否出个详细的教程

我也在等待大佬的详细教程

kero990 · 发表于 2022-3-11 12:36:50

我有两个问题
第一，如果我不用win，我只是多个linux的多系统，但不想多分区，我该怎么做
我的考虑是，vhd并不是linux下的常规虚拟磁盘格式，使用vhd格式更多的需求是win作为主系统的需求。那么如果摒弃vhd这种格式，只考虑将linux装进一个虚拟磁盘文件，无论它是raw，crow2，会不会更简单一些。

第二，我目前折腾的这台机器是个国产机，也就是arm64架构，既然这个方案是用的vbox的解决方案，那么它能否支持arm64架构的linux呢？

want20 · 发表于 2022-11-23 17:44:17

lijingjack 发表于 2020-12-22 10:32
**** 作者被禁止或删除内容自动屏蔽 ****

qemu-nbd 挂载动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功挂到 sysroot上的，也手动验证了，但是在 switch root 的时候，qemu-nbd 就立马断开连接了（shutting down socket），ps 看进程结束了，猜测是 systemd kill 掉了。exec 的方案也无效，但是理论上来说 vdfuse 都可以挂载到进入系统，qemu-nbd 原理也是一样的，不知道怎么整了emmm，大佬给点建议呗

want20 · 发表于 2022-11-23 18:58:49

qemu-nbd 挂载动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功挂到 sysroot上的，也手动验证了，但是在 switch root 的时候，qemu-nbd 就立马断开连接了（shutting down socket），ps 看进程结束了，猜测是 systemd kill 掉了。exec 的方案也无效，但是理论上来说 vdfuse 都可以挂载到进入系统，qemu-nbd 原理也是一样的，不知道怎么整了emmm，大佬给点建议呗

2011dingfei · 发表于 2022-12-14 15:26:57

Misty 发表于 2020-2-2 06:42
更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后 ...

吊炸天了！怎么不更新了！正需要这个功能

2011dingfei · 发表于 2022-12-19 21:50:35

Misty 发表于 2020-2-2 06:42
更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后 ...

uefi能用了吗

fendou00 · 发表于 2023-1-11 17:34:31

试了一下，没成功，打印：
Gave up waiting for root file system device.Common problems:
- Boot args(cat /proc/cmdline)
-Check rootdelay= ( did the system wait long enough?)
- Missing modules (cat /proc/moudles;ls /dev)
ALERT! /dev/vdhost/Partition2 does not exist. Dropping to a shell!

有尝试成功的大佬吗？

ZMLoveLH · 发表于 2023-1-12 16:38:25

看看楼主的教程，学习那些支持虚拟磁盘启动的Linux方式

2013qwaszx · 发表于 2023-2-5 00:32:21

补充一下：dracut方案《第四步》中，fedora 37中/etc/dracut.conf.d/为空目录，没有任何配置文件。
可以在第五步中增加选项-N，即

dracut -f -N

复制代码

，在生成时指定hostonly模式。

paodiao · 发表于 2023-5-8 20:50:54

want20 发表于 2022-11-23 18:58
qemu-nbd 挂载动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功 ...

老哥，我也在看使用qemu-nbd启动qcow2的问题，你有研究出什么结果没？感谢！

want20 · 发表于 2023-5-29 15:34:57

paodiao 发表于 2023-5-8 20:50
老哥，我也在看使用qemu-nbd启动qcow2的问题，你有研究出什么结果没？感谢！

没，qemu-nbd始终无法起来，还是老问题，可以用vboximg-mount替代，vdfuse只支持mbr，vboximg-mount支持mbr和gpt，但是都需要装个vbox，想把其提取出来，但是vbox为了做多平台，代码还不好提。目前知道几个方案，libguestfs-tools和nbdfuse有些镜像分区读不出？libvhd只支持读，blktap没试过。

want20 · 发表于 2023-5-29 15:38:44

want20 发表于 2023-5-29 15:34
没，qemu-nbd始终无法起来，还是老问题，可以用vboximg-mount替代，vdfuse只支持mbr，vboximg-mount支持m ...

以上针对vhd而言，差分qcow2应该有其他挂载工具吧，vhd比较麻烦

want20 · 发表于 2023-5-29 15:48:45

kero990 发表于 2022-3-11 12:36
我有两个问题
第一，如果我不用win，我只是多个linux的多系统，但不想多分区，我该怎么做
我的考虑是，vh ...

显然不支持，vbox除了apple的m系列外目前不支持arm，当然把挂载工具vdfuse换成支持arm的即可

ghosthark · 发表于 2023-6-15 22:25:30

有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd挂载成功了
但是drauct改写时nbd被断开显示IO  error
[  568.600126] fedora kernel: block nbd1: shutting down sockets
[  568.603241] fedora kernel: blk_print_req_error: 11 callbacks suppressed
[  568.603244] fedora kernel: I/O error, dev nbd1, sector 97519872 op 0x0:(READ) flags 0x3000 phys_seg 1 prio class 2
[  568.603260] fedora systemd-journald[292]: Received SIGTERM from PID 1 (systemd).
[  568.603774] fedora kernel: EXT4-fs error (device nbd1p2): __ext4_get_inode_loc_noinmem:4687: inode #3014657: block 12058656: comm systemd: unable to read itable block

ghosthark · 发表于 2023-6-15 22:25:57

有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd挂载成功了
但是drauct改写时nbd被断开显示fedora kernel: I/O error

2011niumao · 发表于 2023-6-16 10:25:26

本帖最后由 2011niumao 于 2023-6-16 10:30 编辑

ghosthark 发表于 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd ...

看看我这个方案。好像我也没有成功，但是Ubuntu系统qemu-nbd是成功了的，只是明显感觉到系统迟钝。
注意，引导参数是 qemu-nbd. 它的值是vhd文件的含路径的名称。

注意，需要安装ntfs-3g, 最好是我修订过的ntfs-3g

########################################################################
### KLOOP by niumao ###
########################################################################
QEMUNBD=$(getarg qemunbd=)
export QEMUNBD
if [ -n "$QEMUNBD" ]; then
### reset the value of the root variable
HOSTDEV="${root#block:}"
[ -n "$KROOT" ] || root="/dev/loop0"
[ -n "$KROOT" ] && root="$KROOT"
realroot="$root"
export root
if ismounted "$NEWROOT"; then
umount "$NEWROOT"
fi
### auto probe the fs-type of the partition in which vhd-file live and mount it /host
mkdir -p /host
if [ -z "${HOSTFSTYPE}" ]; then
HOSTFSTYPE="$(blkid -s TYPE -o value "$HOSTDEV")"
[ -z "${HOSTFSTYPE}" -o "${HOSTFSTYPE}" = "ntfs" ] && HOSTFSTYPE="ntfs-3g"
fi
[ "${HOSTFSTYPE}" = "ntfs-3g" ] || modprobe ${HOSTFSTYPE}
mount -t "${HOSTFSTYPE}" -o rw $HOSTDEV /host
### mount the vhd-file on a loop-device
if [ "${QEMUNBD#/}" != "${QEMUNBD}" ]; then
modprobe nbd
[ -e /host$QEMUNBD ] || sleep 3
qemu-nbd -c /dev/nbd0 /host$QEMUNBD
kpartx -av /dev/nbd0
[ -e "$realroot" ] || sleep 3
fi
### mount the realroot / in vhd-file on $NEWROOT
if [ -z "${KLOOPFSTYPE}" ]; then
KLOOPFSTYPE="$(blkid -s TYPE -o value "$realroot")"
[ -z "${KLOOPFSTYPE}" ] && KLOOPFSTYPE="ext4"
fi
[ -e "$realroot" ] || sleep 3
mount -t "${KLOOPFSTYPE}" -o rw $realroot $NEWROOT
### mount /host in initrd to /host of the realrootfs
if [ "${HOSTHIDDEN}" != "y" ] ; then
[ -d "${NEWROOT}"/host ] || mkdir -p ${NEWROOT}/host
mount -R /host ${NEWROOT}/host
fi
fi
########################################################################
### END, KLOOP by niumao ###
########################################################################

复制代码

2011niumao · 发表于 2023-6-16 10:35:33

ghosthark 发表于 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd ...

是不是应该首先在vhd内系统的内核设置一下，block的黑名单或者白名单？再重新制作initramfs使用此内核引导。

ghosthark · 发表于 2023-6-16 21:10:39

2011niumao 发表于 2023-6-16 10:25
看看我这个方案。好像我也没有成功，但是Ubuntu系统qemu-nbd是成功了的，只是明显感觉到系统迟钝。
注意 ...

感谢大佬回复，我尝试使用该脚本但是还是没有正常引导我的环境是fedroa 38 efi分区 +EXT4(/分区)
grub2 配置如下

menuentry 'kloop-dracut' --class ubuntu {
insmod gzio
insmod part_msdos
insmod part_gpt
insmod ext2
insmod ntfs
insmod probe
set vhdfile="/CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/kloop_dracut.vhd"
set root=(hd1,gpt2)
search --no-floppy -f --set=aabbcc $vhdfile
set root=${aabbcc}
probe -u --set=ddeeff ${aabbcc}
linux /CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/vmlinuz rw root=UUID=${ddeeff} qemunbd=$vhdfile kroot=/dev/nbd1p2 selinux=0 rd.debug rd.shell
initrd /CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/initrd.img
}

复制代码

返回debug 如下123网盘后加 /s/PP7lVv-YAOC.html提取码:IJnn

ghosthark · 发表于 2023-6-16 21:56:22

kpartx -av 操作将分区挂载到了/dev/mapper 下修改grub2配置 kroot=/dev/mapper/nbd1p2 一直滚动输出卡在starting draut-pre-udev.service - rule-based manager for devievents and files

2011niumao · 发表于 2023-6-17 14:18:56

ghosthark 发表于 2023-6-16 21:56
kpartx -av 操作将分区挂载到了/dev/mapper 下修改grub2配置 kroot=/dev/mapper/nbd1p2 一直滚动输出卡 ...

kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

ghosthark · 发表于 2023-6-18 18:10:28

2011niumao 发表于 2023-6-17 14:18
kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

ktoot=/dev/mapper/nbd1p2 和
kroot=/dev/npd1p2 加注释掉kprat后的运行结果一样
问题照片如下

www点123pan点com/s/PP7lVv-i9OC.htm

ghosthark · 发表于 2023-6-19 22:18:27

本帖最后由 ghosthark 于 2023-6-19 23:54 编辑

2011niumao 发表于 2023-6-17 14:18
kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

通过增加grub debug rd.break=pre-shutdown rd.break=shutdown rd.udev.debug rd.break=pre-mount rd.break=mount
以及在增加 blockdev 之后进入到了initqueue 阶段增加rd.break=initqueue rd.initqueue.debug 后发现内核模块丢失无法通过modprobe加载包括fuse ntfs nvme在内的所有模块并且ntfs-3g 挂载也无法操作

duhe303 · 发表于 2023-6-19 22:36:00

很详细。。。

ghosthark · 发表于 2023-6-30 00:18:19

fedroa dracut 方式

vdfuseloop 方式使用qmeu-nbd 替换vdfuse 操作会导致卡在initqueue
kloop方案改写也有相同问题

arch
kloop_mkinitcpio 使用qemunbd rootfs下提示 ntfs-3g 已挂载但是umount 之后依然无法挂载并且使用kloop的ntfs-3g make中很多报错因此使用的是ntfs-3g+fuse2的包但是这个似乎挂载时有用户权限问题
至此只有参照楼主initramfs-tool方案改写qemu成功了
全部资料信息github.com/MobtgZhang/VHD-Boot
如果有成功实现 dracut mkinitcpio 实现使用qemu-nbd 方式挂载动态vhd 成功的方案可以分享一下不胜感激

2011niumao · 发表于 2023-7-3 13:50:07

本帖最后由 2011niumao 于 2023-7-3 14:01 编辑

ghosthark 发表于 2023-6-30 00:18
fedroa dracut 方式

vdfuseloop 方式使用qmeu-nbd 替换vdfuse 操作会导致卡在initqueue

对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。
不然，内核挂载好动态vhd文件所在分区后，找不到qemu-nbd命令，是无法挂载动态vhd的、
使用以下一个命令来制作initramfs，不用修改配置文件(在add-drivers参数后面是否应该加入 nbd 存疑，下面arch同理)

sudo dracut -i /home/niumao/mydracut/10-vhdmount-kloop.sh /lib/dracut/hooks/pre-mount/10-vhdmount-kloop.sh --no-hostonly --install " vi /etc/virc ps grep cat rm blkid losetup kpartx partx mount.fuse mount.ntfs-3g ntfs-3g shutdown qemu-nbd " --add-drivers "fuse dm-mod nbd" -o " plymouth btrfs crypt cifs fcoe fcoe-uefi iscsi nfs" /home/niumao/dracut-fedora-kloop

复制代码

关于arch有同样的问题，不过因为不是dracut模式，可以选择修改配置文件后重新制作initramfs

sudo gedit /etc/mkinitcpio.conf

复制代码

修改地方大体如下

BINARIES="losetup partx mount.fuse mount.ntfs-3g ntfs-3g shutdown qemu-nbd "
MODULES="fuse ntfs loop nbd"

复制代码

ghosthark · 发表于 2023-7-28 10:43:02

2011niumao 发表于 2023-7-3 13:50
对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。 ...

配置正确之后还是异常返回
Starting initrd-switch-root.service - Switch Root...
[
170.773548] blk_print_req_error: 2 callbacks suppressed
170.773551] I/O error, dev nbdi, sector 42946816 op 0x0:(1READ) flags 0x3000 phys_seg 1 prio class 2
[ 170.773607] systemd-journald[5138]: Received SIGTERMfrom PID 1 (systemd)
170.774783] EXT4-fs error (device nbd1p2):__ext4_get_inode_loc_noinmem:4493: inode #1310721: block 5242912: comm systemd: un
able to read itable block
[ 170.775600] I/O error, dev nbdi, sector 1003520 op 0x1:(WRITE) flags 0x23800 phys_seg 1 prio class 2
[ 170.776124] Buffer I/O error on dev nbdip2, logicalblock 0, lost sync page write
[ 170.776402] EXT4-fs (nbd1p2): I/O error while writing superblock
[ 170.801244] systemd[1]: systemd 253.7-1.fc38 runniing in system mode (+PAM +AUDIT +SELINUX -APPARMOR +IMA +SMACK +SECCOMP -GCR
YPT +GNUTLS +OPENSSL +ACL +BLKID +CURL +ELFUTILS +FIDOZ +IDNŽ -IDN -IPTC +KMOD +LIBCRYPTSETUP +LIBEDISK +PCREZ +PWQUALITY +P11KI
T +QRENCODE +TPM2 +BZIP2 +LZ4 +XZ +ZLIB +ZSTD +BPP_FRAMEWORK +XKBCOMMON +UTMP +SYSUINIT default-hierarchy=unified)
[]
170.802266] systemd[1]: Detected virtualization vware
[ 170.802661] systemd[1]: Detected architecture x86-644.
[ 170.803121] systemd[1]: Running in initrd.

want20 · 发表于 2023-7-31 11:53:34

本帖最后由 want20 于 2023-7-31 11:59 编辑

ghosthark 发表于 2023-7-28 10:43
配置正确之后还是异常返回
Starting initrd-switch-root.service - Switch Root...
[

用qemu-nbd是会这样的，我都没成功过，initramfs-tool 和 dracut 都是 switch root 的时候卡 io error，目前我的方案是自己写的挂载工具，可以实现 x86 和 arm 的挂载，但是 initramfs-tool 的关机无论是用 vdfus 还是 vboximg-mount 会容易卡死，挂载的镜像设备卸载不掉，dracut 关机脚本写好了就不会。单纯自己使用的话完全可以用 vboximg-mount 做，虽然要装 vbox，且不能移植到arm平台。
引导起来只是第一步，后续还在解决断电文件系统损坏，镜像损坏等问题，至于性能方面，只要挂载工具没做 direct io 或者每次写都加同步的话，还是很不错的。加了 direct io 或者实时同步到 disk 的话 io 性能会大大下降。

此外，给 grub 加个 vhd 的只读模块就不用把内核镜像拷出来了，挂起来直接引导。目前打算研究一下 ventoy 的实现，看下会不会更优雅一点。

ghosthark · 发表于 2023-8-10 22:14:56

want20 发表于 2023-7-31 11:53
用qemu-nbd是会这样的，我都没成功过，initramfs-tool 和 dracut 都是 switch root 的时候卡 io error， ...

initramfs-tool 我没有遇到问题
dracut 目前定位到没有加--uefi参数可以进入rootfs 但是没有成功启动
grub 加个 vhd 的只读模块这个怎么实现可以分享一下吗 loopback ？似乎不支持动态磁盘
如果可以有支持动态磁盘的通用方案可以分享一下吗

ghosthark · 发表于 2023-8-20 19:48:12

2011niumao 发表于 2023-7-3 13:50
对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。 ...

经过这段时间尝试已经成功实现arch 原因在于 lo设备没有分配网络地址和qemu依赖/var/lock中存放链接文件
增加

mkdir -p /var/lock
addr add 127.0.0.1/8 dev lo
ip link set lo up

复制代码

之后正常启动但是存在关机异常但基本可用
fedroa 的dracut 还是没有头绪，目前只能定位到在initrd阶段正常但后续过程中导致了nbd设备和模块被kill 继续尝试中

want20 · 发表于 2023-9-14 11:50:20

本帖最后由 want20 于 2023-9-14 11:54 编辑

ghosthark 发表于 2023-8-10 22:14
initramfs-tool 我没有遇到问题
dracut 目前定位到没有加--uefi参数可以进入rootfs 但是没有成功启 ...

提示一下，参考vboot的vhd模块，自己改。他本身是支持动态vhd的，但是不支持差分，可以自己加差分的支持。没差分也问题不大，就是更新initrd后记得压到第一级镜像。这一part经过长时间测试，非常稳定。外部因素，暂时无法分享代码，望理解。

		自动登录	找回密码
密码			注册

[原创] vdfuseloop：支持更多格式虚拟磁盘启动的Linux方式（vdi/vmdk/vhd等）

点评

点评

点评

点评

点评

点评

点评

点评

把qemu-nbd命令装入内核初始镜像盘

点评

点评