
大模型LLMs
文章平均质量分 84
Pengsen Ma
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大模型常见架构、组件、协议的汇总和介绍
Magentic-0ne是一个通用型多智能体系统,专门用于解决各种领域中涉及网络和文件处理的开放式任务。3.通过HandoffMessage机制实现任务移交,每个智能体可以指定将任务转给哪些其他智能体4.适用于需要多个专家智能体协作的复杂任务,比如客服系统(客服→>退款专员)或股票研究(分析师→写手)等场景。Autogen 是一个由 Microsoft 推出的框架,它允许用户创建和管理多个自主代理,以协同完成复杂的任务。1.用途:用于需要多个 AI 代理协作完成的复杂任务。追踪整体进度必要时采取纠压措於。原创 2025-03-19 15:41:18 · 346 阅读 · 0 评论 -
RAG、Agent、微调等6种常见的大模型定制策略
六种最常见的LLM定制策略,按资源消耗从最少到最多的顺序排列:提示工程(Prompt Engineering)解码与采样策略(Decoding and Sampling Strategy)检索增强生成(Retrieval Augmented Generation)Agent微调(Fine Tuning)基于人类反馈的强化学习(Reinforcement Learning from Human Feedback)原创 2025-03-13 11:21:15 · 967 阅读 · 0 评论 -
几种微调(finetune)/后训练(post-training)的方法
方法核心机制优点缺点适用场景SFT标注数据监督学习简单直接,适合明确任务标注成本高明确任务的微调RLHF强化学习+人类反馈捕捉复杂偏好训练复杂,依赖人类反馈对话模型优化DPO直接优化人类偏好简化流程,训练效率高在复杂偏好场景下可能效果有限偏好优化任务静态数据+动态优化动态适应新需求在线阶段计算资源需求高需要持续改进的系统知识迁移减少计算需求,提升推理速度性能可能有所下降部署在资源受限环境生成假数据扩充训练集降低标注成本数据质量可能不高数据稀缺任务。原创 2025-03-10 13:52:06 · 909 阅读 · 0 评论 -
DeepSeek-R1 + RAG搭建本地知识库
利用DeepSeek-R1与RAG(Retrieval-Augmented Generation,检索增强生成)技术可以快速搭建本地知识库。为确保本地知识库的高效搭建,需先准备DeepSeek-R1模型、相关文档/数据集及部署工具(如Ollama),随后安装Ollama并部署DeepSeek-R1,同时选择并配置文本嵌入模型,最后收集/整理文档并确保其唯一标识符和文本内容,利用文本嵌入模型转换文档为向量以构建快速检索的索引。一、RAG(检索增强生成)检索增强生成(Retrieval-Augmented Ge原创 2025-03-10 13:29:32 · 1038 阅读 · 0 评论 -
DeepSeek系列、AI发展的五个级别
解决了R1-Zero在可读性和语言混合方面的局限性,显著提升了模型的推理能力。【解决了R1-zero的问题】通过“思考-回答”双阶段训练模板,DeepSeek-R1实现了推理过程的可追踪性,并为奖励计算提供了明确基准,从而输出了结构化的答案。DeepSeek-R1采用了包括准确性、格式和语言一致性在内的多层次奖励机制,确保了模型在推理任务中的高效性和输出内容的可读性。DeepSeek-V2:以创新的模型架构和极低的推理成本,成为性价比极高的大模型选择。DeepSeek-R1的技术创新在于开发了。原创 2025-03-10 09:12:38 · 1366 阅读 · 0 评论