L2G3000闯关作业提交

新建一个50%的虚拟机，按调查安装环境。似乎也没有快多少，还是等很久。

先根据教程1.3安装部署一个7B的。

在这里看一下显存占用的情况。

接下来准备开展量化。

确认量化的是1.8 B小模型。

量化完成。查看一下磁盘使用空间。1.5G。加载，看一下显存的使用情况。

直接进行W4A16 量化+ KV cache+KV cache 量化三合一部署。话说完之后。看一下显存占用。