- 博客(9)
- 收藏
- 关注
RSS订阅原创 GPU拓扑结构
在表格中，GPU0 和 GPU1 对应的 CPU Affinity 是 0 - 11，这意味着 GPU0 和 GPU1 与 CPU 的 0 - 11 号核心有较高的亲和性，如果使用多个 GPU，根据 CPU Affinity 将不同的 GPU 分配给对应的 CPU 核心组来处理相关任务，更好地利用 CPU 资源，减少资源竞争，可以加快训练速度。PCI总线使用并行总线结构，在同一条总线上所有的外部设备共享总线带宽：采用共享总线的机制，会出现不同的设备抢占总线的情况，所有带宽还是有限。
2026-04-08 11:53:26
446
原创 分布式计算并行策略
在数据并行系统中，每个计算设备都有整个神经网络模型的完整副本（Model Replica），进行迭代时，每个计算设备只分配了一个批次数据样本的子集，并根据该批次样本子集的数据进行网络模型的前向计算。假设一个批次的训练样本数为N，使用M 个计算设备并行计算，每个计算设备会分配到N/M 个样本。前向计算完成后，每个计算设备都会根据本地样本计算损失误差得到梯度Gi（i 为加速卡编号），并将本地梯度Gi 进行广播。
2026-04-08 11:51:00
389
原创 强化学习 (Reinforcement Learning) 浅析
我只使用文字分析大致的概念和公式, 相关算法的代码在网上有很多现成的可以扒, 都写在这篇文章里会很冗余, 大家对代码感兴趣的去搜一下即可.
2025-02-09 19:59:13
1647
原创 DeepSeek-V3 的核心架构: DeepSeekMoE
实践效果：在671B总参数量下实现单 token 仅激活3.7%参数，推理速度提升2.1倍，训练成本降低67%。以上纯个人总结及观点, 如有错误, 还请大佬们指教。
2025-02-03 08:30:00
1822
原创 Windows部署Ollama可视化(Open WebUI + Docker + Ollama)
登录Ollama官网()点击Download进行下载。
2025-01-07 22:46:18
5911
2
原创 Lil‘Log《Extrinsic Hallucinations in LLMs》读后总结
博客《Extrinsic Hallucinations in LLMs》由Lilian Weng撰写，详细探讨了大型语言模型（LLMs）中“幻觉”现象的背景、原因、类型、影响及其缓解策略。本文对这一问题进行了深刻的剖析，结合了大量实例，提供了清晰的思路和可能的解决方案。以下是我该文章的总结和分析。
2024-12-13 19:56:38
672
原创 智能体(Agent)与工作流(Workflow)
工作流（Workflow）是一种描述业务过程的方法，它将工作流程中的各个步骤和规则抽象化，并通过计算机技术来实现这些流程的自动化。优点缺点Agent动态规划灵活缺乏稳定性Workflow静态规划稳定性高缺乏灵活性完成复杂的任务缺乏稳定性。
2024-11-08 18:47:27
29831
原创 背包问题-动态规划算法(附带Python代码解析)
给定 n 种物品和一个容量为 capacity 的背包，其中每一个物品的重量和价值已知。问：应该如何选择装入背包的物品，使得装入背包中的物品的总价值最大？
2024-09-18 22:01:06
1920
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人