- 博客(3)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 数据集笔记
数据集是海量非结构化文本，简单说就是重视数量，不重视质量，主要目的就是学说话，这个场景几乎只存在几个头部基础模型训练会涉及，不做过多介绍。指令微调，数据集格式为 指令instruction，问题输入input，问题回答output。数据集要做好标注，要求对输入做什么操作后输出是什么，类似上述的数据集格式。对于需要做垂域微调数据集，金融法律医疗这些行业可能会用到。数据集格式如上，需要多轮上下文，角色身份等等信息。不同阶段，为了不同训练目的的数据集是不同的，数据集格式需包含COT思维链，也就是思考过程。
2025-05-09 16:15:05
398
原创 GPU通信技术
我们本次测试使用的是QWQ模型，我们通过打印模型结构可以看到由64个decoder组成，即64层，L=64，结合上述公式去除相同项，可以看到TP=8是TP=4&PP=2的4L倍，由于我们模型L=64,即两者流量理论上相差256倍(粗估)即将数据集分成多个子集，每个子集分配给不同的计算节点（GPU），每个节点上都有完整的模型副本，每个节点处理不同的数据子集，计算梯度后，通过集合通信（如AllReduce）同步梯度，更新模型参数。以我们TP=8时，通信量约为：(2*2*H*S*B+2*2*H*S*B)*L。
2025-05-08 17:07:22
1955
原创 HAMI与NVIDIA device plugin笔记
HAMi 可为多种异构设备提供虚拟化功能，支持设备共享和资源隔离，也是一个为K8S pod能调度GPU的中间件插件，能够实现 GPU 的细粒度的隔离，但他可以对 core 和 memory 使用 1% 级别的隔离。HAMI是挂载 libvgpu.so 替换 Pod 中的原生驱动，并添加CUDA_DEVICE_MEMORY_LIMIT_X 和 CUDA_DEVICE_SM_LIMIT环境变量。目前在K8S上调用过2种GPU插件，分别是NVIDIA device plugin和HAMI，
2025-04-25 17:45:03
789
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人