实验小项目招新：hypervisor crate on arceos

[chyyuu]

网址：https://github.com/cylindrical2002/hcHyper
开发日志：https://github.com/cylindrical2002/Hypervisor

其它参考：

• arm: https://github.com/KarmaD7/rHyper
• arm: https://gitee.com/openeuler/rust_shyper
• riscv: https://github.com/KuangjuX/hypocaust-2
• x86: https://github.com/rcore-os/RVM-Tutorial
• x86: https://github.com/rcore-os/RVM1.5
• x86: https://github.com/rcore-os/RVM

该crate可做到与具体操作系统无关。形成与OS无关的硬件访问部分，与OS（如arceos）相关的获取OS服务接口部分，APP（unikernel结构）部分。
如有兴趣一起来探索，请联系我 yuchen AT tsinghua.edu.cn OR 微信 id chyyuu

[KuangjuX]

新建了一个仓库：hypercraft，预计参考 RVM、zicron VMM 将 hypocaust-2 中 RISC-V 的部分进行重构，RVM 看起来还有一些 OS 相关的内容，目标是继续精简，只保留 VMM 硬件接口，一些 trait 暴露出来和 OS 进行复用。

[yukiiiteru]

不过我理解上下文切换这种应该也不需要暴露出来，把上下文切换封装到一个 vcpu_run 的函数中丢到 trait 里面也是完全可以的吧。

[KuangjuX]

不过我理解上下文切换这种应该也不需要暴露出来，把上下文切换封装到一个 vcpu_run 的函数中丢到 trait 里面也是完全可以的吧。

对的，因为上下文切换需要 vcpu 保存一些 hypervisor 和 guest 的状态，因此 hypervisor 和 guest 的上下文切换由 library 来做。然后把 trap 处理放在 trait 中由 os 来做即可。上文中讨论的应该是多个 guest 的调度问题。

[cylindrical2002]

不过我理解上下文切换这种应该也不需要暴露出来，把上下文切换封装到一个 vcpu_run 的函数中丢到 trait 里面也是完全可以的吧。

可能需要在Guest OS和Host OS的App之间进行一些时分的切换，这样的话只写一个vcpu_run不一定足够？

[KuangjuX]

不过我理解上下文切换这种应该也不需要暴露出来，把上下文切换封装到一个 vcpu_run 的函数中丢到 trait 里面也是完全可以的吧。

可能需要在Guest OS和Host OS的App之间进行一些时分的切换，这样的话只写一个vcpu_run不一定足够？

guest 与 guest 的切换应当也需要 lib 来做（因为需要切换一些虚拟化相关的寄存器），而调度算法的选择（即选哪个 guest 作为下一个 task）由 os 来选择。至于运行在 guest 上的 process 就不需要管了。

[yukiiiteru]

guest 与 guest 的切换应当也需要 lib 来做（因为需要切换一些虚拟化相关的寄存器），而调度算法的选择（即选哪个 guest 作为下一个 task）由 os 来选择。至于运行在 guest 上的 process 就不需要管了。

就 Linux 中的实现来看，不需要考虑 guest 与 guest 的切换，因为需要切换的时候，线程已经从 vcpu_run 中退出来了，虚拟化相关的寄存器都放在 vCPU 的结构体里面了，切换都是作为普通线程进行的。我是比较认同这种方案的，实现起来会比较简单，不过效率也会相对略低一些。如果考虑 guest 到 guest 的切换的反而会复杂很多。

[chyyuu]

关于 app-level 进行虚拟化管理的接口设计：

https://github.com/rust-vmm/mshv

Microsoft Hypervisor wrappers. This repository provides two crates which are mshv-bindings and mshv-ioctls. These crates will provide the APIs and definitions to create a VMM on Microsoft Hypervisor along with other rust-vmm crates.

[KuangjuX]

今日继续学习 RVM，不过和 jyk 学长交流后发现 RVM-Tutorial 的设计更好，里面已经剥夺了几乎所有 OS 相关的部分，打算再学习一下 RVM-Tutorial，这两天做一个可以跑 hello world guest 的 demo，最少需要实现以下功能：

• 实现 CPU 虚拟化，构建 VCpu 结构体以及上下文
• 加载 guest Binary，由 app 来做
• 实现 Guest 结构体，用于存储 Guest 相关信息
• 暴露 vm_entry() 和 vm_exit() 接口，由 app 处理

[KuangjuX]

完成了 vcpu 可扩展的寄存器相关的结构(vcpu.rs)与上下文切换(guest.S)，
完成了 app/hello_world.rs 的实现，目前有一点 bug，明天调试。

[KuangjuX]

可以成功运行了 hello world 了。

[KuangjuX]

目前打算暂时不加两阶段翻译，先考虑一下多 guest 的切换如何实现。

[KuangjuX]

多 guest 最重要的事情是 vm 如何管理不同的 vcpu 的状态，需要仔细设计关于 vm 对于 vcpu 状态的管理。

[cylindrical2002]

目前 hcHyper 的开发 timeline 位置

2023.4.20更新，timeline位置会随着计划完成变化，后续位置变动将在这里更新

[cylindrical2002]

往期 timeline
2023.4.13-2023.4.19

[yukiiiteru]

打工人周末终于有点时间了，目前计划在 ArceOS 上实现一个 axvm 的 module

• 仓库地址: https://github.com/wfly1998/arceos

Timeline 也会在这下面更新

[yukiiiteru]

现在打算先把 riscv crate 加上 hypervisor 相关的 CSRs，给 axhal 加上 hypervisor 相关的函数，然后在 axvm 封装起来

今天的目标：强行拉起一个只会 Hello World 的 guest，目前看来工作量还是蛮大的

[KuangjuX]

不需要单独给 riscv 加，rcore-os 这个组织下 fork 过来的这个 riscv 已经加上了。

[yukiiiteru]

不需要单独给 riscv 加，rcore-os 这个组织下 fork 过来的这个 riscv 已经加上了。

不好意思刚看到😂 这个其实我也有注意到，但是 ArceOS 上已经引入过一个 riscv 的 crate，而且版本是 0.10.1:

https://github.com/rcore-os/arceos/blob/7c949af22942cb98c9d527f7f700d36c3eaff3d9/Cargo.lock#L1253

但是那个 fork 已经两年没有更新了，版本还是 0.6.0:

https://github.com/rcore-os/riscv/blob/11d43cf7cccb3b62a3caaf3e07a1db7449588f9a/Cargo.toml#L3

所以我感觉还是有必要自己搞一个 fork 的

[KuangjuX]

最近尝试去完成多核 guest 的设计，这里简要介绍一下多核启动的流程以及初步设计的想法：

• 首先 hart0 首先启动，执行一系列初始化操作，包括内存分配、驱动等初始化，随后初始化虚拟机监控器，随后使用 HSM call 启动其他核
• 其他核进行 secondary init 并对 percpu 进行初始化
• 主核启动时需要初始化其他核的信息并将其写入特定的内存地址中，其他核启动时从特定内存地址读取信息并进行初始化与执行（percpu 的地址存储在 tp 寄存器中）。
• 构造一个 VM 的数据结构，存储多核的信息，提供 run(&mut self, vpu_id: usize) 方法，根据 vcpu_id 运行 percpu 的 task。
• HOST_VM 作为全局结构需要互斥访问，可以使用 Once 进行包裹。

[KuangjuX]

目前需要对 percpu 进行设计，需要区分哪些是 ISA 相关的，哪些是 ISA 无关的。

[KuangjuX]

一个简单的 percpu 结构设计：https://github.com/KuangjuX/hypercraft/blob/main/src/arch/riscv/smp.rs

[KuangjuX]

由于 VMM 比较依赖于设备树进行初始化，所以我想给 Arceos 加一个设备树解析的 crate，学长怎么看？@equation314

[yukiiiteru]

设备树这个还是很重要的吧

[equation314]

在 multicore 分支已经实现了 device_tree 解析

[KuangjuX]

昨日和贾越凯学长和陈岳同学讨论关于 hypervisor 的 library 问题，贾越凯学长推荐将 hypervisor 作为一个 app 跑在 arceos runtime 上面，但这会造成一些问题：

• hypervisor 的上下文切换与 os 不同，hypervisor 上下文切换需要多保存一系列寄存器
• hypervisor 的异常处理与 os 不同，hypervisor 需要多处理一些异常
• 现在的多核目前依然不稳定，对于如何启动多核依然没有统一方案

因此我认为将 hypervisor crate 直接跑在 app 级上会造成一系列问题，我的想法是尽可能简单地进行考虑并做出来看看是否可行。目前的想法是：

• hypercraft 作为一个库，提供基础的虚拟化接口。
• hvruntime 是 module 级别的，提供 hypervisor runtime 所需要的内容，例如上下文切换，内存分配，页表映射等功能（复用 arceos crate)
• apps/hv 是 app 级别的，用于创建虚拟机并执行。

[KuangjuX]

5.12 进度：

• 完成了内存虚拟化，建立了 GuestPageTable 的抽象与实现。
• 成功运行内存虚拟化系统
• 继续学习 salus 和 arceos

下周计划：

• 将 hypocaust-2 的 feature 全部移植过来搞一个跑 linux 的 hypervisor
• 先尝试在 hypocaust-2 添加多核（并补充毕设），再在 hypercraft 上面移植。
• 之后能否跑 FPGA?

[KuangjuX]

5.13 进度：

1. 完成了中断注入处理
2. 完成了时钟中断虚拟化

[cylindrical2002]

下周计划：

• 之后能否跑 FPGA?

学长，现在有带有Hypervisor Extension的FPGA吗？

[yukiiiteru]

下周计划：

• 之后能否跑 FPGA?

学长，现在有带有Hypervisor Extension的FPGA吗？

我印象中 https://github.com/chipsalliance/rocket-chip 很早就支持了，把参数多砍一下的话 200t 应该能跑（

[yukiiiteru]

chipsalliance/rocket-chip#2841

2021 年就支持了

[KuangjuX]

本周(5.15 - 5.21) 进度：
5.15 进度：

1. 实现了 PLIC 模拟。
2. 学到了 riscv 中可以通过 HLVX 指令从 guest 内存进行读取，不需要手动进行两阶段页表翻译，参考 salus 写了从 guest 取内存的方法。
3. 似乎应该每个 vcpu 都应该安装自己的页表，现在直接给 VM 安装页表似乎没办法支持多核，明天梳理一下结构画个图上来。
4. 改了改论文。

5.16 进度：

没有什么实质性进度，主要在改一些代码的结构以及和所有权作斗争，并且在用 rustc 1.71.0-nightly 编译 hypervisor 指令时发现编译错误，回退到 1.68.0-nightly 编译成功，怀疑是在 1.70.0 后升级了 LLVM 版本造成的，给 rustc 提了个 issue：rust-lang/rust#111637

5.17 进度：

1. 实现了 PageFault 的处理
2. 添加了基于设备树的配置
3. 理论上移植了大部分 hypocaust-2 的特性，理论可以跑整个 os 了，不过在外部中断这里遇到了一些问题，明日解决。预计本周可以完全复现完成 hypocaust-2 的功能并运行 Linux。

5.18 进度：

1. 跑起了 rCore-Tutorial-v3

5.19 进度：

1. 尝试跑 linux 但是遇到了 bug，bug 在于在启动 Linux 过程中在执行 init process 之前进入了 idle 线程并不再重新调度，一番调试后发现跑 Linux 过程中根本没有触发时钟中断，具体原因目前还没调出来。
2. 成功启动 Linux，原来是在处理 SBI base 的时候没有将 A0 置为 SUCCESS 导致 linux 探测 SBI 扩展失败。圆满完成本周计划。

下周计划：

1. 整理代码，给 arceos 发 PR。
2. 尝试支持多核启动。

[KuangjuX]

本周（5.22 - 5.28）进度：
由于本周除了要做 hypervisor 还要做 virtio，关于 virtio 的进度在另一个 discussion 里面更新：

5.22 进度：

1. 开始在 arceos 中嵌入 hypercraft 库

5.23 进度：

1. 在 arceos 里起 hypervisor 起 Linux。
2. 尝试过 CI 但没完全过。

5.24 进度：

1. 把 CI 都过了，合并入了 hypervisor 分支中。

[KuangjuX]

6.1

1. 连上了远程 FPGA，启动了 U-Boot。

[hw0505]

当前进度（9.1）：
前期完成arceos、hypercraft和rust-shyper主要源码阅读和分析之后，花了两个多星期修改论文，hypervisor改造暂停了一段时间，目前完成了context_frame.rs和cpu.rs的基本改造（还需等其他文件一起修改后再验证）。

下周安排：
完成CPU初始化功能的改造，并尽可能多的完成VM初始化的其他部分功能。

[hw0505]

arm架构hypervisor进度计划：

1. CPU、VM、中断化部分：9/21
2. 内存及页表：9/28
3. CPU调度：10/5
4. VM启动及调试：10/15

x86架构hypervisor进度计划：

1. 虚拟化状态管理和vCPU管理：~50%，大约9/17完成
2. 内存虚拟化：0%，大约9/27完成
3. 中断和异常处理：~5%，大约10/8完成
4. 设备虚拟化和其他：0%，大约10/20完成

[hw0505]

hypervisor适配arceos（9.4）

唐：
上周总结：基于移植计划，学习rust语言，正在进行cpu、vm的状态抽象、异常、gic中断部分的实现，目前基本移植了contextFrame部分，完善了gic寄存器结构，使arceos兼容了rust-shyper的gic涉及的寄存器，ipi与中断注册部分基本实现，cpu实现了基本结构（页表、调度、初始化相关还未实现）
本周计划：下周继续推进cpu和vm结构的实现，争取完成中断和异常处理的兼容，删除目前不必须的功能（如虚拟机迁移）

黄：
上周总结：梳理了context_frame、CPU初始化、VM初始化中涉及的寄存器及配置。学习了ARM架构中断的设置。
本周计划：1.调研AI用于探测系统错误的论文；2.改造CPU初始化、VM初始化功能的代码

苏：
上周总结：主要是在继续阅读RVM的vcpu管理代码，同时继续处理VMX状态管理的代码适配问题。
本周计划：继续移植VMX状态管理和vcpu管理的代码。

[hw0505]

hypervisor适配arceos（9.4）
arm架构（唐）
进度：和黄同学讨论修改目标为实现二型hypervisor启动一个普通vm，明晰了启动部分特权级相关的内容。已完成大部分异常与中断处理。
异常与中断处理：
1.添加了了module/axhal/src/arch/aarch64/trap_hv.S，形成了针对vm的异常处理向量
2.其中trap_hv.S中调用的lower_aarch64_synchronous与lower_aarch64_irq实现在crates/hypercraft/src/arch/aarch64/exception.rs中。
3.lower_aarch64_synchronous中定义的data_handler与hvc_handler位于crates/hypercraft/src/arch/aarch64/sync.rs中。lower_aarch64_irq中的interrupt_handler定义在crates/hypercraft/src/arch/aarch64/interrupt.rs中
4.中断注册部分添加了ipi、maintenance、timer中断，注册代码位于module/axruntime/src/hv.rs的interrupt_register_for_aarch64_hv中。
5.由于虚拟机需要进行中断注入，中断注入部分移植了rust-shyper的vgic.rs部分（位于crates/hypercraft/src/arch/aarch64/vgic.rs）。修改了module/axruntime/src/trap.rs，使与rust-shyper中的中断处理保持一致：ipi、maintenance、timer中断由对应的handler负责，剩余中断号在16~32的则注入虚拟机。目前该部分实现还存在问题，还未把module/axruntime/src/trap.rs部分代码用在系统中，还需要进一步修改。
6.中断底层GIC部分实现在crate/arm_gic下，主要添加了GICH寄存器的相关结构。
其他部分：
1.移植了部分rust-shyper中vcpu、cpu、vm的结构，在crates/hypercraft/src/arch/aarch64中（vcpu.rs, cpu.rs, vm.rs），但为了和arceOS兼容，还需要进行大量修改，修改重点在于vcpu、vm之间的初始化，并且使修改后需要兼容rust-shyper实现的vgic。
计划：预计下周完成异常部分与启动相关的部分代码（HVC Handler），以及部分启动流程（可能会兼顾到部分内存处理），调整兼容中断处理。

x86架构（苏）：
进度：
1.VMX状态管理部分已经基本上移植完毕。
a.VMX硬件检测的代码放在crates/hypercraft/src/arch/x86_64/detect.rs中，如果启用“hv” feature，则会在rust_main中通过init_hv_runtime.rs进行调用。
b.crates/hypercraft/src/arch/x86_64/msr.rs提供了读写MSR寄存器（model-specific registers）的通用代码。
c.crates/hypercraft/src/arch/x86_64/percpu.rs中放置的是PerCpu（每个逻辑处理器一份的数据，主要是VMXON region的地址以及VMCS revision identifier）的定义和管理代码。其中一部分可以复用于vCPU管理中的VMCS管理。
2.已经开始在apps/hv中增加x86_64架构下调用hypercraft进行虚拟化的代码。
计划：
1.下周预计完成vCpu生命周期管理相关部分的代码
a.仍然放置在crates/hypercraft/src/arch/x86_64下，包括vCpu的创建，VMCS的管理，VM entry，VM exit的处理。
2.apps/hv中完成环境检测，虚拟化开启，vCpu创建部分的代码。
a.在apps/hv/src/main.rs中加入合适的初始化PerCpu的代码。
b.在同样的位置加入创建并启用vCpu的代码。

[hw0505]

20231101
ARM Hypervisor（黄和唐，代码主要有唐实现）：
进度：
1.完成异常处理之后，调整内存地址空间，利用ArceOS现有的页表机制为Hypervisor他提供了基础的内存管理功能。
2.解决了运行nimbos的一些bug后，成功在Hypervisor中支持nimbos VM的运行。
3.完成ARM Hypervisor实现介绍的文档（唐）
计划：
1.适配linux，解决运行linux存在的问题

x86 Hypervisor（苏）
进度：
1.支持nimbos运行。
2.完成了一个简单的x86 linux bootloader，现在guest内已经可以运行到linux内核的boot阶段。
3.完成x86 Hypervisor实现介绍的文档
计划：
1.适配linux，解决运行linux存在的问题

一起：
1.讨论并明确了面向三种架构下多核、多VM、内存动态管理的功能要求。

[hw0505]

20240112
Hypervisor开发的目标是能够实现ArceOS中的应用获得Guest中Linux的支持，现有ArceOS Hypervisor和ArceOS紧密的结合在一起无法在运行VM的同时运行其他应用，另外VM配置没有统一的管理接口。跨域的通信拟采用类似crtos的ivshmem的方式实现，因此需要ArceOS需要实现中断虚拟化，Linux需要能有支持通信的模块。为了减少ArceOS初始化功能，所以打算采用Type1.5的方式加载Hypervisor。
基于标和当前的开发情况，将后续开发任务分为几个方向，预期时间为下周三（20240117）有阶段性结果：

1. ArceOS中对task、process、vcpu的统一抽象管理，实现ArceOS同时运行app和VM，负责人为胡柯洋。
2. ArceOS中断虚拟化（基础要求能通知到Linux）及Linux中断响应模块，负责人为苏明贤。
3. VM config配置，提供VM配置统一接口，完成后继续开发virtio，负责人唐诗美。
4. Type1.5启动，ArceOS支持Cell创建及Linux降级，负责人黄旺，邱沛中。
5. 任务1、2完成后，进行跨域通信，暂定胡柯洋、黄旺、邱沛中负责。
6. 任务2、3完成后，进行实机适配，暂定苏明贤、唐诗美负责。

[hky1999]

晚上跟贾老师讨论了一下我的想法，初步觉得这个东西是可行的：
使用 axtask 统一对unikernel的task、宏内核的process、hypervisor的vcpu三者的管理
参考（合并）宏内核版本（Starry）中进程管理，预计TaskInner结构体新增一个 TaskType域

#[derive(Debug)]
enum TaskType {
    /// ArceOS task.
    Task,
    /// User process. Refaer to `https://github.com/Azure-stars/Starry`
    Process(ProcessInner),
    /// Virtual CPU. Refer to `Vcpu` struct in crates/hypercraft/arch/${ARCH}/vcpu.rs
    Vcpu(VcpuInner),
}

需要合并hypercraft中的vcpu实现

[hw0505]

20240115
1、ArceOS中对task、process、vcpu的统一抽象管理：已完成代码实现，在调试bug和加入VCPU代码，预计周三完成调试（胡柯洋）。
2、ArceOS中断虚拟化及Linux中断响应模块：明确了实现路线，预计周三完成代码编写（苏明贤）。
3、VM config配置，提供VM配置统一接口：预计周三完成初步功能代码（唐诗美）。
4、Type1.5启动，ArceOS支持Cell创建及Linux降级：已完成基本分析，预计周三开始代码实现（黄旺，邱沛中）。

[chyyuu]

@hw0505 今天晚上请汇总一下目前的进展

[hw0505]

20240116:
1.胡柯洋：完成task和process重构，能够加载ELF文件，不处理syscall，直接返回结果。明天合并vcpu。
2.苏明贤：开始Linux自定义驱动编程。明天完成自定义irq。
3.唐诗美：基于serde和serde_json_core，参考rust_shyper config部分结构定义，实现了解析json格式的vm config的整体框架。明天参考jailhouse cell的配置，完善pio config结构。
4.邱沛中：继续阅读 rvm 1.5代码，尝试调试 rvm 代码，调试看每一步的执行。明天继续调试。