horizon2206+A6000显卡 vGPU桌面经验分享

22年6月实施了1套VMware vsan+horizon2206+a6000显卡 vGPU桌面搭建，将实施过程中遇到的问题记录一下。

1，服务器BIOS的设置（vGPU场景）

2，云桌面中使用LUMION基准测试评分低，解除FRL限制

3，云桌面黑屏问题分析处理

有问题可以联系我：19180701992

服务器使用的戴尔740xd,3台服务器做vsan集群，配置如下：

 2个M.2安装esxi，2个SSD做缓存，10个8T做容量层，2个10GE口做业务和vmotion,2个10GE口做vsan内部数据同步。

1，戴尔服务器BIOS设置如下：

检查BIOS选项，打开VT-D,SR-IOV,Above 4G decoding（各服务器可能名称略有区别），同时由于vsphere的限制，需要把MMIO HBASE设置成小于16T的数值（戴尔服务器设置成12T）。

vsan的搭建网上文档很多，基本是下一步下一步搞到，

搭建完成后，使用HCIbench工具，测试vsan性能。

4K 70%的读，100%随机 ，IOPS15万多，带宽600M/S，延迟都低于25ms。（应该还没到峰值）

 

 2，解除FRL限制，vGPU模式默认是开启了FRL限制的，目的是平衡VM之间对GPU资源的占用，但客户在使用lumion的时候，发现评分很低，此时可以解除FRL限制

现象：

未解除FRL限制时，用Lumion基准测试很低，blast和PCOIP协议都是一样

显卡直通，用lumion基准测试正常

解除FRL限制后，lumion基准测试提升

VMware 虚拟机解除FRL限制，在虚拟机高级设置里，编辑参数，添加

pciPassthru0.cfg.frame_rate_limiter 值 为 0   ，如果不需要时，把值改为1或者删除这个参数。

 解除FRL和未解除FRL的区别，没有解除FRL默认限制在 60FPS，解除了FRL，值为N/A

 3，当虚拟机的内存超过32G时，可能无法初始化vGPU，桌面黑屏，蓝屏等问题。

问题描述：使用horizon客户端登陆桌面时，屏幕是黑的。点击鼠标键盘无反应。

使用MSTSC远程登陆桌面时，一直卡在请稍候界面

使用horizon 客户端 RDP协议登陆桌面时，NVIDIA 活动面板报：没有显示器连接到此GPU上

设备管理器中--显示适配器--A6000-2Q和SVGA 3D 呈现感叹号！

查看VMware 虚拟机日志VMware.log 或者出现黑屏时间最近的VMware-X.log

查看到vgpu 初始化报错

查看NVIDIA官网文档，发现有相似的问题描述

描述说，VM的内存大于32G时就会出现此问题，刚好我的云桌面内存就是32G

NVIDIA-bug-report 日志记录（SSH到主机，运行命令 NVIDIA-bug-report.sh）

登陆桌面 运行 msinfo32 , 点击文件--保存

msinfo32 错误报告信息显示 有2次 nvdisplay 错误信息

解决方法：大于32G内存的VM 高级设置里添加以下参数：

pciPassthru0.cfg.enable_large_sys_mem = 1

pciPassthru0.cfg.extra_fb_reservation = 128

pciPassthru.use64bitMMIO= TRUE

pciPassthru.64bitMMIOSizeGB = 128

如果在模板上添加这4个参数，发出的桌面只有后面2个参数，前面2个参数还得一个个的添加。

同时，模板显卡--总显存改为128M，显示器数量改为2，模板操作系统更新到最新。

 

如果上面设置没解决问题，尝试换个版本的设计软件，比如使用最新版的revit，因为黑屏掉显卡的时候通常都是在使用某个软件造成的。

 

设计软件使用中感觉卡顿。比如cad,ug等画图或者拉扯模型时感觉卡。首先尝试降低分辨率试试，目前常用的1080p分辨率使用这些软件正常。如果换成2k或者更高的分辨率就会卡顿。