Hi20240217的博客

简单适配torch_npu不支持的ATen算子

Intel平台不同方式的AI推理测试

intel-xpu-backend-for-triton绕过pytorch直接调用Unified-Runtime

基于PyTorch通信算子的分布式训练阻塞定位方法

基于PyTorch通信算子的分布式训练阻塞定位方法

随着深度学习的不断发展，大型语言模型（LLM，Large Language Model）在自然语言处理领域展现出了强大的能力。然而，伴随着模型参数规模的指数级增长，运行这些模型所需的计算资源也变得异常庞大，尤其是对显存（GPU内存）的需求。因此，如何在有限的GPU显存下有效地运行超大规模的LLM，成为了一个亟待解决的挑战。本文验证在GPU显存受限的情况下，如何高效地运行超出GPU内存容量的LLM模型。通过对模型权重的量化和内存管理策略的优化，期望能够突破硬件瓶颈，为大型模型的部署和应用提供新的思路。

【代码】如何使用MindSpeed-LLM做权值格式转换。

统计DeepSeekR1推理需要的GPU内存

Mellanox Kubernetes Device Plugin 安装指南

Harbor 是一个开源的企业级容器镜像注册中心，提供高效的镜像管理、访问控制、安全扫描等功能。通过以上步骤和注意事项，您可以顺利部署和管理 Harbor 容器镜像注册中心，提升企业的容器化管理能力

在网络拓扑研究和网络性能分析中，直观地展示网络节点之间的连接关系和带宽分布对于理解网络结构至关重要。本博客将介绍如何使用Python的NetworkX和Matplotlib库，生成一个模拟的网络拓扑图，展示节点之间的双向带宽，并解决绘制过程中可能出现的边与节点相交的问题。我们将模拟一个包含32个节点的网络，每个节点之间通过4条链路连接。带宽数据是随机生成的，特定节点的带宽值范围会有所不同。

我们希望生成集群内主机之间每条链路的带宽图。执行完上述步骤后，将生成集群内主机链路带宽的拓扑图。可用于分析集群网络性能。

【代码】RK3588-NPU pytorch-image-models 模型编译测试。

Pytorch通信算子组合测试

【代码】RK3588 NPU测试。

【代码】RK3588上CPU和GPU算力以及opencv resize的性能对比测试。

【代码】IREE和TensorRT性能对比。

【代码】查看sycl kernel转spirv之后需要实现哪些api。

【代码】MLIR学习--使用Polygeist对C代码进行Tiling优化,并用MLIR Pass替换内层循环为外部API。

【代码】通过ttyd实现web ssh。

【代码】将sycl test-e2e中所有编译不过的测例删掉。

本文演示label_studio如何用于yolo模型的半自动标注

用python实现以下功能* 1.ssh登录服务器* 2.进入docker容器* 3.从github拉取代码编译运行* 4.保存终端日志到文件

采用macvlan绕过某些软件需要MAC授权的问题某些软件需要跟MAC绑定,新的设备需要单独授权,特别费事.因此,采用macvlan方式,为容器指定已经授权的MAC,绕过授权

本文演示了Gitlab如何自动上传SSH Key、如何clone代码免提示以及自动下载Gitlab上的文件

openvino python推理demo

本文演示了yolov5m从模型导出到onnxruntime推理的过程

将python程序制作成服务,用supervisor管理

编译grpc v1.62.0,制作deb安装包

CUDA 12.4.1 + TensorRT10.1.0 C++ 推理1.onnxruntime 推理生成输入输出2.TensorRT推理,比对MSE

unified-runtime编译与验证

sycl编译器编译及测试。

本文演示TensorRT推理端到端。

oneAPI学习-使用oneAPI 实现矩阵乘法并分析性能瓶颈

rocm PeerAccess 测试

探索NVIDIA GPU PeerAccess的访问范围如何突破PCIE Bar空间大小

CUDA图（CUDA Graphs）为CUDA引入了一种全新的工作提交模型。它允许将一系列操作（如内核启动）以图的形式表示，并通过依赖关系将这些操作连接起来。这种图的定义过程与其执行过程是分开的，这意味着我们可以提前定义好一个图，然后多次重复执行它

CUDA上下文（CUDA Context）是一个核心概念，负责在GPU设备上管理和维护CUDA程序执行所需的所有状态和资源。

CUDA Green Contexts 测试

测试NCU中srcnode_gpc、srcunit_l1、srcunit_tex之间的关系。