a1966565的博客

在一个普通的2月21日周五，把硅谷资本搅得天翻地覆的深度求索突然发布乐一个开源周的预告，一下子抓住了全行业的眼球。看得出来，这一周要来一波大的！

深度求索开源周第二天：DeepEP（Expert Parallelism Communication Library）是专为 ​设计的分布式通信库，主要应用于大规模语言模型（如GPT-4、DeepSeek-V3等）的场景。经过第一天的爆炸性开源，今天迎来了DeepEP的开源。可见的将来或许MoE训练效率飙升300%，算力成本砍半！

深度求索开源周第三天：DeepGEMM代表了大模型底层计算从“依赖硬件厂商优化”向“开源算法驱动”的范式转移，其技术方向将显著降低大模型训练门槛、加速稀疏架构创新，并推动行业形成更开放的软硬件协同生态。短期看，它可能成为MoE模型训练的事实标准；长期而言，其设计理念或影响下一代AI芯片的指令集架构设计。

在预填充阶段，使用EP32和TP1配置，提示长度为4K，每个GPU的批处理大小为16K个令牌。利用两个微批次来重叠计算和全连接通信，确保注意力计算负载在两个微批次之间平衡。相同的提示可能会在这两个微批次之间分割，以平衡计算负载。在解码阶段，使用EP128、TP1和提示长度为4K的配置，每个GPU的批处理大小为128个请求。利用两个微批次来重叠计算和全连接通信。

3FS是一种并行文件系统，其核心优势在于能够充分利用现代固态硬盘（SSD）和远程直接内存访问（RDMA）网络的全部带宽。现代SSD具备高速读写能力，而RDMA网络可以实现远程节点之间的快速数据传输，3FS将二者的优势结合，为数据访问提供高效支持。3FS系统通过硬件性能榨取（SSD+RDMA）、架构创新（分离式设计）和全流程优化（训练-推理协同），系统性解决了大模型训练中的数据与通信瓶颈。

Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，并在其中包含一个FROM指令，该指令指向你想要导入的模型的本地文件路径。在 Ollama 中创建模型运行模型。

编排”界面，将官方提示词模板复制粘贴上去，这规定了AI执行您的对话任务时的角色立场，它是我的新闻总结编辑，按照我规定的json格式把我提供的新闻稿整理出来。右上角“模型名”点击拉开列表选择最出色的Deepseek V3作为常规对话AI，在这种任务中会有更好的表现。而Deepseek R1是推理模型，在进行复杂任务推理或者深度文本创作中，常有令人惊奇的表现。DeepSeek以其卓越的开源模型推理性能，在全球范围内迅速获得关注。但由于官方模型 API 供不应求，许多开发者深感“无 API 可用”的窘迫。

严谨与想象Tempreture# 人物设定Prompt请你扮演一个刚从美国留学回国的人，说话时候会故意中文夹杂部分英文单词，显得非常fancy，对话中总是带有很强的优越感。

昇思打卡营第五期(MindNLP特辑）课程五：基于MindNLP的LLM应用开发实战：从零开始的RAG应用开发 上：实例代码上MindTinyRAG.ipynb和返回值解析_昇思打卡训练营第五期课程六-优快云博客第五课是讲MindNLP的RAG应用，这也是我们在使用AIAgent和知识库中最基本的技术。作为一个增强大模型表现的技术，它在2024年经历了飞速的发展和应用，毕竟比起微调来说它成本低得多。以此为基础的知识库应用也早已普及开来，组成了AI行业突发猛进又脚踏实地的重要拼图。