Ubuntu 18.04 LTS 在vsphere或esxi环境下安装Tesla P100显卡直通

陆陆续续尝试安装了半年，换了各种办法一直都无法成功安装，终于今天搞定了，记录一下安装过程。

该方法用的是官方安装的方法，其他方法我也都试过，每次安装完成后都提示no devices were found，个人感觉之前设置了hypervisor.cpuid.v0 = FALSE或没有设置EFI启动很可能是造成失败的两大原因。

环境：

Vmware Vsphere 7.0.3.01400

NVIDIA GP100GL [Tesla P100 PCIe 16GB]

实体设备：Dell R720xd

首先是准备工作：

0. 准备工作

0.1 设置BIOS

        需要在运行虚拟GPU服务器的esxi主机的BIOS设置中查找并开启类似这样的选项：“above 4G decoding”、“memory mapped I/O above 4GB”、“PCI 64-bit resource handing above 4G”

        ps: 但我并未找到该选项，后面发现没设置也没有影响

0.2 配置PCI设备直通

        在esxi主机中配置好显卡的设备直通

1. 安装虚拟机

1.1 创建后不要启动，设置EFI启动方式

        ps: 感觉很重要，我设置后重装了一次系统就可以正常安装）

1.2 设置虚拟机高级配置参数

        pciPassthru.use64bitMMIO = "TRUE"
        pciPassthru.64bitMMIOSizeGB = "32"

        ！不添加 hypervisor.cpuid.v0 = FALSE

        ps: 32的计算方式为：16向上取整一个2的整数次幂为32

GPU个数 × 一块GPU的显存大小（GB为单位），然后将结果向上取整到下一个2的整数次幂。

例如，要给这个虚拟机直通两个p100显卡，则值应为：2 × 16 = 32，向上取整到下一个2的整数次幂，得到64。但如果是直通v100显卡，64则只能直通一块，因为v100单卡显存就是32G，想要直通两块就需要改为128。

1.3 配置内存预留

        在编辑设置里，将内存选项卡中的预留所有客户机内存勾选

        

1.4 添加直通显卡

在虚拟机页面，“操作”→“编辑设置”→“虚拟硬件”→“添加新设备”→“PCI 设备”，然后在PCI设备选项中选择需要添加的显卡。

 

2 安装NVIDIA驱动

2.1 检查GPU

        lspci | grep -i nvidia

        正常结果应该有结果输出，并且为Tesla P100显卡

2.2 安装驱动

        图形化界面打开Software Update，安装你需要的显卡驱动，我这里安装了470.182.03版本

 

Reference：

显卡直通 – 📔独行看客的笔记本