100GB Mellanox InfiniBand 网卡虚拟化技术调研

最新推荐文章于 2024-07-24 00:00:00 发布
原创 最新推荐文章于 2024-07-24 00:00:00 发布 · 2.1k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#网络 #服务器 #运维

本文详细描述了对MellanoxInfiniBand100GB网卡在ThinkSystemSR650服务器上的兼容性测试，包括验证SR-IOV虚拟技术、BIOS设置、网卡驱动升级以及Firmware更新。文章还涉及了如何在Linux环境中安装驱动和配置参数以优化网络性能。

调研目的

验证 Mellanox InfiniBand 100GB网卡和SR650 Server能兼容

ThinkSystem SR650

Power On (Booting OS or in undetected OS)
Machine Type/Model 7X05CTO1WW

验证 SR-IOV虚拟话技术在BIOS/Firmware/Kernel/QEMU/Libvirt能被支持

4.18.0-305.19.1.el8_4.x86_64

验证 Virtual Function PCI设备在KVM能支持passthough

物理硬件

ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port PCIe VPI Adapter

lspci

0000:2f:00.0 Ethernet controller [0200]: Mellanox Technologies MT28908 Family [ConnectX-6] [15b3:101b]

0000:2f:00.1 Ethernet controller [0200]: Mellanox Technologies MT28908 Family [ConnectX-6] [15b3:101b]

网口直连（无IB交换机）

无 InfiniBand Switch，如果将100GB IB卡接10GB 交换机纯属暴殄天物，直接IB两口直连，可使网速最大化

最低0.47元/天 解锁文章
redhat7890
关注
队列映射、硬件虚拟化与Mellanox ConnectX-6的协同设计
数字人生
05-31 150
现代高性能网络系统中，队列映射、硬件虚拟化与多队列网卡（如Mellanox ConnectX-6）的协同设计是提升网络性能的关键。队列映射通过将数据包分配到不同的硬件队列，实现负载均衡、优先级控制和多核并行处理，依赖哈希算法、XPS（Transmit Packet Steering）和流量控制（TC）等技术。硬件虚拟化技术（如Intel VT-x、AMD SVM）和MSI-X中断机制则优化了设备资源管理和中断处理效率，支持多虚拟机共享物理资源。Mellanox ConnectX-6通过多主机支持、网络内计算
Intel (英特尔) NVIDIA Mellanox (迈络思)10G、25G、40G、100G网卡功能参数及型号对比分析 Intel与NVIDIA Mellanox 网卡选择型号参数对比分析
lcy524514826的博客
04-02 7572
10G INTEL X710-DA2 & NVIDIA MCX4121A-XCAT 25G INTEL XXV710-DA2 &NVIDIA MCX512A-ACAT 25G INTEL E810-XXVDA2 &NVIDIA MCX631102AN-ADAT 40G INTEL XL710-QDA2 &NVIDIA MCX516A-BDAT 100G INTEL E810-CQDA2 &NVIDIA MCX623106AN-CDAT
【硬件相关】Mellanox网络配置及参数优化
Luxf0的博客
03-04 7250
本文主要介绍Mellanox网络配置、部署管理及相关调优手段，用于后续部署实践参考使用
ADOP 100G InfiniBand EDR：加速高性能计算的未来之路
ADOP_Winners的博客
04-01 1483
随着100G InfiniBand EDR技术的持续演进与成熟，ADOP 100G EDR InfiniBand解决方案已然成为一个兼具高效能与稳定性的优选方案。ADOP的解决方案利用了InfiniBand技术，提供了每秒传输速率为100 Gbps的高吞吐量和低延迟特性。通过部署100G QSFP28 EDR光模块和电缆，ADOP的解决方案进一步优化了网络延迟，实现了更高级别的数据传输速率。
CentOS上安装Mellanox OFED
独自陶醉
01-19 3748
Tgz解压缩执行 ./mlnxofedinstall发现缺少模块。先安装 kernel modules。打开Mellanox官网下载驱动。
IB网卡配置过程（转载）
qq_32379851的博客
11-15 5770
其中 HWADDR与UUID可以不写，写的话要自己给ifcfg-ib0生成一个UUID，#uuidgen eth1，最主要的就是一定要加TYPE=InfiniBand，博主在这块浪费了好久时间，做了很多无用功，不过也搞清楚了这中间的部分细节。设置好了通过ip a可以查看。客户端执行qperf 10.0.0.5 ud_lat ud_bw rc_rdma_read_bw rc_rdma_write_bw uc_rdma_write_bw tcp_bw tcp_lat udp_bw udp_lat可以看到。
Mellanox IB卡 虚拟化
Mickeywaugh的专栏
07-16 3639
IB卡型号： MT27500 1.BIOS里开启SRIOV，CPU开启VT以及安装网卡对应的驱动等过程略 2.修改启动菜单参数 执行命令vi /etc/default/grub，按“i”进入编辑模式，在linuxefi行后添加启动参数“intel_iommu=on iommu=pt pci=assign-busses pci=realloc”。 添加完参数之后的启动参数如下： GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.
速度与激情：超高速--100G网卡篇
ADOP__567的博客
04-24 3332
在数字化时代，信息传输的速度和效率成为了各个领域的关键。在这个快节奏的世界里，网络连接的快慢直接影响着工作效率、生活质量甚至是创新能力。而在网络连接技术中，网卡的作用举足轻重。近年来，随着网络技术的不断发展，超高速率的网卡应运而生，本文将详细介绍100G网卡的构成、应用，及与之相配合使用的产品。
NVIDIA以太网卡ConnectX-4/5/6 使用 KVM虚拟化时如何配置 SR-IOV？
qq_27815483的博客
07-24 1929
本文主要介绍如何在KVM虚拟化上开启SR-IOV使PCI设备更好的支持虚拟化
Mellanox Adapters Programmer’s Referenc 网卡用户编程手册（PRM）V0.4
11-07
ConnectX-4和ConnectX-4 Lx系列网卡支持高速以太网和InfiniBand通信协议，具备数据中心级连接功能，包括10/25/40/50/100GbE以及EDR 100Gb/s InfiniBand。该系列网卡在云计算、数据中心互联、存储网络、高性能计算及...
Mellanox InfiniBand兼容性：将QSFP28模块速率从56G提升至100G
qq_45166408的博客
07-27 1380
本文将详细介绍如何进行这些改码操作，并分析测试结果。通过将InfiniBand速率标识置于Page 00h Byte 164处，并在Page 00h Byte165-167处标识Mellanox OUI，我们可以将QSFP28模块的速率从56G改为100G。速率改码后的分析测试: 完成标识地址的修改后，我们需要进行一系列的分析测试来验证速率是否已成功改为100G。结论: 通过修改标识地址，我们可以成功将QSFP28模块的速率从默认的56G提升至100G，以满足更高的数据中心和高性能计算需求。
IB卡开启EIPOIB做虚拟化桥接使用
weixin_34365417的博客
05-12 692
IB卡开启EIPOIB做虚拟化桥接使用 步骤1：开启EiPOIB 编辑默认"no"为"yes" /etc/infiniband/openib.conf E_IPOIB_LOAD=yes 步骤2：重启hca卡驱动。 /etc/init.d/openibd restart 重启后会生成以太网卡，可用ethtool exxx确...
Mellanox网卡驱动安装
weixin_69622946的博客
01-10 3399
如果最后显示Failed to update Firmware.是不影响正常使用的。查看HCA端口状态，若State为Active，则表示正常，方可继续执行后面的步骤。会报一堆依赖缺少，安装工具会提醒你用yum install指令，直接复制粘贴搞定。查看HCA端口状态，若State为Active，则表示正常。安装过程中不要断网，不然有可能会出错。yum intstall 缺少的部分。以用户名root登录系统安装驱动。
Mellanox Infiniband 架构设计快速实战指南 - B
ShawnTheCoder的博客
05-21 4946
书接上回：Mellanox Infiniband 架构设计快速实战指南 - A 2. Infiniband协议类型 在 Mellanox Infiniband Topology Generator 中，选定了网络拓扑后，接下来很重要的就是选定Infiniband的Data Rate，或者可以称为Infiniband协议类型。 在Wikipedia中，Infiniband历史上全部的类型包括 SDR： 2001/2003年 DDR： 2005年 QDR： 2007年 FDR： 2011年 EDR： 2014年
Mellanox Infiniband 架构设计快速实战指南 - A
ShawnTheCoder的博客
05-20 7941
Nvidia GTC 2020正在进行中，Nvidia（英伟达）最终完成了对以色列高速计算网络厂商Mellanox的收购，再一次被黄老板高度评价。Mellanox Infiniband至今依然是高速计算互联网络的主流厂商和解决方案，在HPC领域应用广泛。本文基于Mellanox官方提供的材料，介绍如何快速上手Infiniband高速互联网络的设计规划。
Mellanox网卡驱动——representor框架学习
leiyanjie8995的博客
12-06 5813
背景：DPU多是参考mellanox网卡软硬件框架。对于ovs快速转发路径硬化的场景，网络报文进入进入FPGA的网口，如果流表匹配，直接通过快速路径送到主机。如果不能匹配，则需要soc上的ovs慢速路径创建新的流表项，然后下发给FPGA。 云场景下，一般都是虚拟机和容器的场景，网卡会开启VF，每个VF都可以作为一个网卡设备使用。mellanox的网卡针对这种场景使用了representor的概念。在soc上为每个representor口虚拟出了一个representor，每个representor都对应一
VMware ESXI 7.0 U3使用Mellanox网卡MCX6开启SR-IOV
qq_29109843的博客
01-25 2532
VMware 7.0 U3 MCX653105A-HDAT-SP 驱动 nmlx。
Mellanox Ethernet 网卡虚拟化
Mickeywaugh的专栏
07-16 3260
网卡型号: MT27800 1.BIOS里开启SRIOV，CPU开启VT以及安装网卡对应的驱动等过程略 2.修改启动菜单参数 执行命令vi /etc/default/grub，按“i”进入编辑模式，在linuxefi行后添加启动参数“intel_iommu=on iommu=pt pci=realloc”。 添加完参数之后的启动参数如下： GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root
基于DPDK的MellanoxCX4-40G网卡性能测试
热门推荐
无知的我
01-30 1万+
DPDK性能测试-40G 1、硬件环境 a)      服务器：Sugon W560-G20 workstation b)      处理器：Intel Xeno E5 -2660 V3处理器（2.60GHz） 20 CPU cores*2 NUMA nodes c)      内存：128G，2*32GB DIMMs * 2NUMA nodes 2133MHz d)      主板：S
iops型场景infiniband网卡调优
最新发布
04-13
用户提到了IOPS型场景，这通常涉及高频率的小数据块读写操作，比如数据库、虚拟化或高性能计算中的元数据处理。因此，调优的重点应该放在如何最大化每秒的输入输出操作次数，同时保持低延迟和高吞吐量。 接下来，我...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值