- 博客(256)
- 收藏
- 关注
RSS订阅原创 intel-xpu-backend-for-triton绕过pytorch直接调用Unified-Runtime
intel-xpu-backend-for-triton绕过pytorch直接调用Unified-Runtime
2025-04-03 16:02:31
259
原创 如何在24GB的GPU上运行DeepSeek-R1-Distill-Qwen-32B
随着深度学习的不断发展，大型语言模型（LLM，Large Language Model）在自然语言处理领域展现出了强大的能力。然而，伴随着模型参数规模的指数级增长，运行这些模型所需的计算资源也变得异常庞大，尤其是对显存（GPU内存）的需求。因此，如何在有限的GPU显存下有效地运行超大规模的LLM，成为了一个亟待解决的挑战。本文验证在GPU显存受限的情况下，如何高效地运行超出GPU内存容量的LLM模型。通过对模型权重的量化和内存管理策略的优化，期望能够突破硬件瓶颈，为大型模型的部署和应用提供新的思路。
2025-02-13 21:12:56
1585
2
原创 Kubernetes入门指南：如何指定Pod运行的节点
为目标节点添加自定义标签：通过标签标识节点的特性或角色。在Pod的YAML配置文件中使用：根据节点的标签选择目标节点进行调度。下面我们将详细介绍每个步骤的具体操作。在Kubernetes中，通过为节点添加标签并在Pod的配置文件中使用，您可以轻松地控制Pod的调度位置。这不仅有助于在特定节点上复现问题，还能优化资源利用，满足应用的特定需求。本文介绍的方法简单易懂，非常适合Kubernetes新手入门。
2025-01-27 20:37:54
792
原创 使用 Helm 自动化脚本创建 Kubernetes Pod 并进行免密处理
使用 Helm 自动化脚本创建 Kubernetes Pod 并进行免密处理
2025-01-25 13:57:44
774
原创 Mellanox Kubernetes Device Plugin 安装指南
Mellanox Kubernetes Device Plugin 安装指南
2025-01-25 13:37:23
595
原创 Harbor 部署教程
Harbor 是一个开源的企业级容器镜像注册中心，提供高效的镜像管理、访问控制、安全扫描等功能。通过以上步骤和注意事项，您可以顺利部署和管理 Harbor 容器镜像注册中心，提升企业的容器化管理能力
2025-01-23 16:13:36
655
原创 网络拓扑可视化：使用Python绘制带带宽信息的节点连接图
在网络拓扑研究和网络性能分析中，直观地展示网络节点之间的连接关系和带宽分布对于理解网络结构至关重要。本博客将介绍如何使用Python的NetworkX和Matplotlib库，生成一个模拟的网络拓扑图，展示节点之间的双向带宽，并解决绘制过程中可能出现的边与节点相交的问题。我们将模拟一个包含32个节点的网络，每个节点之间通过4条链路连接。带宽数据是随机生成的，特定节点的带宽值范围会有所不同。
2025-01-20 16:27:29
1007
原创 测试集群内主机链路带宽并生成网络拓扑图
我们希望生成集群内主机之间每条链路的带宽图。执行完上述步骤后，将生成集群内主机链路带宽的拓扑图。可用于分析集群网络性能。
2025-01-18 17:08:29
866
原创 集群内SSH免密登录及批处理
在集群环境中，我们希望能够在多台主机上批量安装软件、获取信息等操作。为了提高效率，需要实现集群内的SSH免密登录和批处理任务执行
2025-01-17 11:32:58
1070
原创 KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访
【代码】KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访。
2025-01-16 17:17:17
1447
原创 RK3588-NPU pytorch-image-models 模型编译测试
【代码】RK3588-NPU pytorch-image-models 模型编译测试。
2025-01-14 21:17:05
583
原创 RK3588上CPU和GPU算力以及opencv resize的性能对比测试
【代码】RK3588上CPU和GPU算力以及opencv resize的性能对比测试。
2025-01-10 17:55:27
2735
原创 MLIR学习--使用Polygeist对C代码进行Tiling优化,并用MLIR Pass替换内层循环为外部API
【代码】MLIR学习--使用Polygeist对C代码进行Tiling优化,并用MLIR Pass替换内层循环为外部API。
2025-01-07 16:26:53
1219
原创 ubuntu22.04上安装win10虚拟机,并采用noVNC+frp,让远程通过web访问桌面
ubuntu22.04上安装win10虚拟机,并采用noVNC+frp,让远程通过web访问桌面
2024-12-25 19:28:16
1231
原创 ssh自动登录服务器,创建容器,拉取git代码执行,保存日志
用python实现以下功能* 1.ssh登录服务器* 2.进入docker容器* 3.从github拉取代码编译运行* 4.保存终端日志到文件
2024-11-15 18:49:05
191
原创 采用macvlan绕过某些软件需要MAC授权的问题
采用macvlan绕过某些软件需要MAC授权的问题某些软件需要跟MAC绑定,新的设备需要单独授权,特别费事.因此,采用macvlan方式,为容器指定已经授权的MAC,绕过授权
2024-11-05 15:46:07
1223
linux基于LD-PRELOAD机器的内存泄露检测工具
2024-05-17
ffmpeg 异步推理filter源码
2024-03-21
grpc v1.62.0
2024-03-19
C#实现的键盘记录后台程序,可运行在win10/win11系统.能记录各种键盘按键,并将字符保存到文件中
2024-02-20
Aleo网络的一些疑问
2024-09-14
怎么能把优快云上的博文自动生成短视频呢
2024-02-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人