- 博客(633)
- 收藏
- 关注
RSS订阅原创 【手把手教学】本地一键部署DeepSeek，推理速度提升300%！
本地部署DeepSeek能保护隐私、提速降本，而vLLM作为高效推理引擎，通过智能内存管理和批量处理技术，让DeepSeek在普通显卡上也能跑得又快又稳，轻松实现高性价比的AI服务。就像把云端AI“搬回家”，既安全又省流量，而vLLM相当于给它装了涡轮增压，低配电脑也能流畅运行。下面介绍如何在python环境中，通过vLLM本地部署DeepSeek的方法。1.启动vLLM服务脚本2.查看vLLM日志脚本3.停止vLLM服务脚本$(pspid4.测试vLLM脚本。
2025-04-02 10:39:28
870
原创 18种RAG技术，你了解多少？
在测试环境中，我对上述 18 种 RAG 技术进行了严格评估。各技术在检索准确率、响应速度与实现复杂度方面各有所长，但实验数据清晰显示，
2025-04-02 10:31:43
840
原创 由浅入深，带大家了解什么是Agent
大模型Agent（智能体）是以大语言模型（LLM）为核心，具备感知环境、自主决策、规划任务、调用工具并执行复杂操作能力的AI实体。它结合了大模型的推理能力与外部工具的实际操作功能，能够像人类一样完成多步骤任务，例如信息检索、数据分析、设备操控等，突破了传统聊天机器人仅能单次响应的局限。大模型Agent通过融合LLM的推理能力与工具操作，正逐步从“生成式AI”迈向“自主执行AI”阶段。其核心价值在于解决复杂任务、提升效率及降低技术门槛。
2025-04-01 10:23:03
585
原创 「DeepSeek-V3 技术解析」：无辅助损失函数的负载均衡
该偏置项 b_i 的计算方式非常直观，如下图所示：首先获取分配给各专家的 token 数量平均值及所有专家的理论全局均值，然后计算给各专家分配的 token 数量与理论全局均值的差值，偏置项由该差值（或误差）的符号乘以固定更新率（fixed update rate）决定（该更新率为可调超参数）。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
2025-04-01 10:20:17
836
原创 字节发布VoRA颠覆性突破！全球首个视觉LoRA大模型：零结构改动实现多模态，推理成本直降90%！
多模态大语言模型（MLLMs）通过模块化设计将预训练视觉模型与大语言模型（LLMs）集成，取得了显著进展：如图1(a)所示，视觉编码器提取的视觉特征通过连接器与大语言模型对齐。虽然这种方法在训练中效率较高，但由于依赖外部视觉专家模型，存在关键局限性，即额外的计算成本和图像分辨率限制。例如，许多视觉编码器，特别是视觉变换器（ViTs），遵循固定分辨率的训练范式，限制了灵活性。此外，模块化设计采用顺序工作流程：在视觉编码器和连接器完全处理完图像之前，大语言模型无法开始处理。
2025-03-31 14:22:13
1132
原创 主流 LLM 推理框架详解与实战对比 (2025版)
随着大型语言模型（LLMs）能力的飞速发展，它们在各行各业的应用也日益广泛。然而，如何高效地将这些强大的模型部署到实际应用中，成为了一个至关重要的问题。模型推理，作为将训练好的 LLM 应用于具体任务的关键环节，其性能直接影响着用户体验和应用成本。在追求更低延迟、更高吞吐量和更灵活部署的道路上，涌现出了众多优秀的 LLM 推理框架。这些框架各有侧重，通过不同的技术手段，例如优化计算图、融合计算内核、支持模型量化、管理 KV 缓存以及实现高效的批处理等，来提升 LLM 的推理效率。
2025-03-31 14:18:02
1223
原创 一篇文章给你讲清楚 ：Deepseek蒸馏小模型
我们聊“蒸馏小模型”，首先就得先了解清楚，什么是“蒸馏”。Distill，知识蒸馏，是一种通过复杂模型（教师模型）生成高质量数据，将其作为知识用以训练简单模型（学生模型）的技术手段。“蒸馏”作为一种模型训练方式，对比对象是传统的模型训练方式。传统的模型训练是从零开始，需要给到模型人工标注的大量数据，再由模型经过深度学习所形成的。这个过程首先就对海量的标注数据有所要求，而且训练效率低，周期短则数月长则按年计算。
2025-03-29 10:05:50
770
原创 阿里深夜开源Qwen2.5-Omni，7B参数完成看、听、说、写
Qwen2.5-Omni-7B是阿里巴巴于2025年3月27日发布并开源的一款全模态大模型，能够同时处理文本、图像、音频和视频输入，并实时生成文本和自然语音输出。它的技术核心和性能表现如下：多模态任务领先在权威评测OmniBench（多模态融合任务）中，Qwen2.5-Omni全面超越谷歌Gemini-1.5-Pro等竞品，尤其在语音生成评测中得分4.51（满分5），接近人类水平。单模态任务表现优异全模态能力此前的模型多为单模态（如仅处理文本或图像）或部分多模态，而Qwen2.5-Omni首次实现文本、
2025-03-29 09:49:31
674
原创 合合信息“TextIn大模型加速器 2.0”版本来了：文档解析和图表解析能力全面升级
基于领先的智能文档处理技术，能够全方位解析多种文档格式，如PDF、Word、图片等，并能够处理复杂版式、布局、表格、图表以及其他图像内容。
2025-03-28 10:11:57
734
1
原创 DeepSeek新V3上线，和R1搭配食用最佳
DeeSeek昨天晚上更新了一波他们的v3模型，版本号来到了DeepSeek-V3-0324，而且直接开源了。经网友评测，这次的V3-0324性能介于Claude 3.5 Sonnet到Claude 3.7 Sonnet之间，非常够用。之前大热的DeepSeek-R1模型大家都非常熟悉了，那这次更新的V3模型有什么特点，和R1模型有什么区别，该如何选择？一起来了解一下吧。
2025-03-28 10:01:15
920
原创 商业化部署DeepSeek-R1-32B方案配合联网搜索功能，让DS原地起飞
之前写过一些本地部署大模型的文章，但更多的是面向个人使用。也有朋友问我，如何部署一个可以商业化使用的企业级大模型呢？今天我就写一篇单卡4090部署DeepSeek-R1-32B模型，并且可以提供给局域网内其他设备进行请求调用的教程。为了降低部署门槛，我将尽量使用最简单的方法来实现。所以即使你对大模型一无所知，只要硬件设备满足要求，并且不手残基本都能部署成功。无需感到压力。全篇教程分为三大部分，第一个部分是准备阶段，第二个部分是部署阶段，第三部分为调用阶段。
2025-03-27 10:05:27
935
原创 什么是RAG？大模型和RAG有什么关系？
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在通过引入外部知识库，增强大语言模型（LLM）的生成能力，解决其固有缺陷，如知识更新滞后、幻觉（生成不准确内容）和领域知识不足等问题。其核心是通过检索相关外部信息，将这些信息与大模型内部知识结合，生成更准确、可靠的回答。RAG通过“检索+生成”的协同机制，将大模型的语言能力与外部知识库的动态信息结合，显著提升了生成内容的准确性与实用性。大模型提供基础智能，RAG赋予实时知识与领域深度。
2025-03-27 09:59:38
673
原创 【大模型基础】参数高效微调简介
大语言模型在垂直领域适配时，上下文学习和指令微调虽是有效途径但存在不足。为此，参数高效微调PEFT）技术出现。本节先回顾前两者并分析其局限，再介绍PEFT概念及优势，最后分类讲解主流PEFT方法，包括参数附加、选择和低秩适配，阐述其原理和代表性工作。
2025-03-26 10:35:52
662
原创 独家整理：DeepSeek一体机十问十答
最近关于DeepSeek的讨论非常多，近2周我也参加了几场线上线下的活动、十多个客户的交流、也有很多粉丝朋友私聊问我，大家针对DeepSeek一体机的问题五花八门，各不相同，今天我从个人的角度整理了十个有代表性的问题和大家简单聊聊！包括厂商类型、产品种类、销售策略、主流机型&GPU卡、客户关心的问题点、“开箱即用”的理解、低中高配的差距、调优前后的差距、官宣性能的水分、报价情况。不严谨之处也欢迎大家指出来！
2025-03-26 09:35:31
975
原创 揭秘agent智能体如何思考、决策，并自主执行任务
之前的内容，提炼出关键要点供后续使用。这种“以文换文”的摘要方式可以大大压缩历史记录长度，保留要点的同时减小上下文尺寸。
2025-03-25 10:19:51
866
原创 deepseek技术解读-彻底理解MLA（Multi-Head Latent Attention）
本文试图通过引入更多基础知识和辅助信息，来深入理解MLA。内容比较长，可能觉得比较啰嗦。这是本人在理解MLA过程递归总结的一些扩展信息，最终整理了一个系统的脉络，发出来供大家参考。
2025-03-25 09:43:05
735
原创 AI产品经理必读：掌握「模型、算力、数据」三大要素，打造AI飞轮，实现业务破局
在这个“AI全面赋能”的时代，企业的竞争格局正悄然发生改变。掌握模型、算力、数据这三大关键要素，并让它们形成相互促进的飞轮，才能让AI持续驱动业务增长。对AI产品经理而言，这既是前所未有的挑战，也是无比宝贵的机遇。
2025-03-24 10:22:16
982
原创 DeepSeek-V3模型综合评价与展望
DeepSeek是由中国深度求索（DeepSeek Inc.）公司研发的一款通用人工智能大模型，基于Transformer架构和多模态数据融合技术，具备强大的推理、生成及多任务处理能力。
2025-03-24 10:12:11
1162
原创 你真的会用DeepSeek？一文让你从菜鸟变大神
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。如果你能在15天内完成所有的任务，那你堪称天才。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
2025-03-22 10:00:23
828
原创 vLLM vs SGLang：大模型推理框架，谁更适合你的需求？
总体而言，vLLM 在模型支持和应用生态方面具有优势，而 SGLang 在推理性能优化表现相对出色。目前vLLM和SGLang的代码库已开始互相借鉴（如vLLM计划引入RadixAttention），但短期内仍是差异化竞争。
2025-03-22 09:57:02
1029
原创 到底什么是AI Agent？
AI Agent，即人工智能体，是一种具备环境感知、自主决策、动作执行能力的程序或系统。它的核心在于能够通过独立的分析思考，调用适当的工具，行动起来，执行命令，最终完成既定的目标任务。AI Agent或许就是移动互联网时代的APP。在移动互联网时代，我们通过各种APP来获取信息和使用服务。但在AI时代，“AI Agent”或许将会逐渐替代“APP”，成为新的网络入口。同时“Agent Store”或许就是移动互联网时代的“APP Store”,“LLM”或许就是“IOS/Android”。
2025-03-21 11:03:57
1012
原创 带你一文读懂DeepSeek-R1新模型，为何震动了全球AI圈
时隔不到一个月，DeepSeek又一次震动全球AI圈。去年 12 月，DeepSeek推出的DeepSeek-V3在全球AI领域掀起了巨大的波澜，它以极低的训练成本，实现了与GPT-4o和Claude Sonnet 3.5等顶尖模型相媲美的性能。和上次不同的是，这次推出的新模型DeepSeek-R1不仅成本低，更是在技术上有了大幅提升。而且，它还是一个开源模型。这款新模型延续了其高性价比的优势，仅用十分之一的成本就达到了GPT-o1级别的表现。
2025-03-21 09:38:59
595
原创 【最全整理】一文掌握AI大模型的发展史
大模型的发展史，可以看作是从符号逻辑到智能涌现的技术革命。人工智能领域中的大模型（Large Language Models, LLMs）是近年来最引人注目的技术突破之一。它们不仅重塑了自然语言处理的范式，更推动人类社会进入通用人工智能（AGI）的探索深水区。这场革命并非一蹴而就，而是跨越半个世纪的认知迭代与技术积累的产物。1950年图灵提出“机器能否思考”的哲学命题时，人类对智能的理解仍停留在符号逻辑层面。
2025-03-20 10:46:23
1096
原创 LangChain：构建大语言模型应用的强大框架
LangChain 是一个开源框架，旨在帮助开发人员构建以大语言模型（LLM）为核心的应用程序。它通过提供一系列工具、组件和接口，简化了从开发到部署的整个过程，使得开发者能够更高效地利用语言模型和聊天模型构建支持应用程序。
2025-03-20 10:27:59
998
原创 深度解析知识蒸馏技术，理解DeepSeek为何如此强大！
知识蒸馏（Knowledge Distillation）本质上是一场深度学习的"师徒传承"革命。在真实的业务场景中，我们常常面临这样的矛盾：一个在超算集群上训练出的千亿参数BERT模型虽然准确率惊人，但根本无法部署在边缘设备的128MB内存中；或者一个基于ResNet-152的图像识别系统虽然效果卓越，但10秒/张的推理速度完全不符合产线质检的实时性要求。这时候，知识蒸馏就成为了连接模型性能与工程落地的关键技术桥梁。
2025-03-19 11:50:47
1017
原创 《大模型微调的十种方法》
在人工智能领域，大模型已经成为解决复杂任务的核心工具。然而，直接使用预训练模型往往无法满足特定任务的需求，这时就需要对模型进行微调（Fine-Tuning）。微调的本质是让模型在通用知识的基础上，进一步学习特定任务的数据，从而提升性能。但微调并不是“一刀切”的操作，针对不同的任务需求、数据量和资源限制，有多种微调方法可供选择。本文将详细介绍10种大模型微调方法，从全参数微调到适配器微调，从提示微调到知识蒸馏，每种方法都有其独特的优势和适用场景。无论你是初学者还是资深开发者，都能在这里找到适合你的微调策略。
2025-03-19 11:36:31
1069
原创 AI产业就业潮：高薪抢人背后的400万人才缺口与求职热潮
2025年的春天，一场由人工智能（AI）掀起的人才争夺战正席卷全球。在杭州深度求索（DeepSeek）的招聘页面上，“深度学习研究员-AGI”岗位以154万元的年薪赫然在列，日薪990元的实习生职位更是刷新了行业认知。这并非孤例，中国信通院数据显示，生成式AI用户规模已突破2.49亿，而与之形成鲜明对比的是，2030年AI人才缺口预计将达400万。一边是技术应用的指数级增长，一边是人才供给的“结构性断层”，这场高薪抢人的狂欢背后，既是企业对未来的豪赌，也是普通人跨越职业鸿沟的黄金窗口。
2025-03-18 11:17:42
733
原创 DeepSeek 本地部署安装指南，让数据安全与 AI 体验双丰收
在 AI 大语言模型的激烈竞争中，DeepSeek 脱颖而出，以其强大的自然语言处理能力、出色的代码生成效果和流畅的多轮对话表现，成为众多 AI 爱好者和开发者的心头好。但用户在线使用时频繁遭遇到服务器繁忙的问题，而本地部署能有效解决这一困扰。接下来，让我们一起来探究DeepSeek如何进行本地部署，对比网络版又有什么差别。
2025-03-18 11:12:21
987
原创 RagFlow与DeepSeek R1本地知识库从0到1搭建指南
在某些情景下创建本地知识库有一些需求，现在以Deepseek R1与 RAGFlow搭档，组建一个本地企业级知识库。关于本地知识库和微调有一些区别，本地知识库操作起来更简单，但不如微调的效果好，成本比微调便宜。RAGFLow是一个可以构建知识库的应用，整体的流程是在docker中部署RAGFlow展开，配置嵌入模型，填加大语言模型，本地的ollama或者调用api，创建知识，再到具体应用。
2025-03-17 11:27:56
1093
原创 LLM单智能体实战：从工具调用到任务执行的完整指南
不过，LLM本身是没有记忆的，这意味着在多轮对话中，每次输入的提示词都需要包含之前的对话记录，才能让模型理解上下文。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。到此为止，大概2个月的时间。
2025-03-17 11:11:53
891
原创 爆了！DeepSeek R1满血版免费使用！（附104页全网最详细教程）
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。DeepSeek官网目前处于完全免费阶段，但由于不明身份的互联网攻击+大量用户的涌入，服务器经常会宕机，并出现“服务器繁忙，请稍后再试”的字眼，其实只要避开用户高峰期，基本都能正常使用！怎么让AI理解你的意思。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
2025-03-15 07:15:00
1195
原创 从LangChain到LangGraph：多智能体开发的进化之路
大语言模型驱动的智能体（AI Agent）技术正经历从单一指令响应到复杂协作系统的范式转移。本文通过解构LangChain到LangGraph的技术演进路径，揭示多智能体系统的设计哲学与实现机制，为开发者提供从理论认知到工程实践的完整路线图。我们将以航空客服助手的构建为贯穿案例，展现智能体开发从功能模块到认知架构的进化历程。
2025-03-15 01:00:00
719
原创 AI工具：DeepSeek + 飞书，提效神器
首先，右键–选择修改字段–将标题更改为核心功能，字段类型选择下方的探索字段捷径–选择Deepseek R1，如果没有在下拉列表中找到Deepseek R1，选择字段捷径中心可以找到DeepseekR1。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
2025-03-14 10:57:05
1006
原创 r1-reasoning-rag：一种新的 RAG 思路
最近发现了一个开源项目，它提供了一种很好的 RAG 思路，它将的推理能力结合应用于 RAG 检索项目地址项目通过结合Tavily和LangGraph，实现了由 AI 主导的动态信息检索与回答机制，利用deepseek的r1推理来主动地从知识库中检索、丢弃和综合信息，以完整回答一个复杂问题。
2025-03-13 10:46:33
950
原创 大模型及其应用系列第一篇——大模型的概念及发展历程
目前大模型并没有统一的学术上的定义，狭义上指大语言模型，广义上则指包含了语言、声音、图像等多模态大模型。李飞飞等人工智能学者认为，这些模型也可以被称为基础模型（参数规模大：大模型的参数规模远大于传统深度学习模型。大模型发展呈现“规模定律”（Scaling Law）特征，即：模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系，通俗而言就是“大力出奇迹”。不过“大”并没有一个绝对的标准，而是一个相对概念。
2025-03-13 10:44:02
701
原创 从零构建 DeepSeek R1：训练、公式与可视化全解析
随后，在正式的 DeepSeek-R1 训练中，他们对流程进行了更系统的设计，分阶段进行训练：先提供一部分初始数据，再进行 RL 训练，然后引入更多数据，再进行 RL……GRPO 的目标函数有两个核心目标，一是让模型生成高质量的输出（即获得高奖励），二是确保训练过程稳定，不会出现不受控的情况。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
2025-03-12 10:32:19
963
原创 到底什么是AI Agent？
AI Agent，即人工智能体，是一种具备环境感知、自主决策、动作执行能力的程序或系统。它的核心在于能够通过独立的分析思考，调用适当的工具，行动起来，执行命令，最终完成既定的目标任务。AI Agent或许就是移动互联网时代的APP。在移动互联网时代，我们通过各种APP来获取信息和使用服务。但在AI时代，“AI Agent”或许将会逐渐替代“APP”，成为新的网络入口。同时“Agent Store”或许就是移动互联网时代的“APP Store”,“LLM”或许就是“IOS/Android”。
2025-03-12 10:21:15
950
原创 从“答案”到“方法”：DeepSeek在教学中怎么用才更香？
您可以像与朋友聊天一样，用自然的语言向DeepSeek提问，无需刻意使用关键词或搜索语法。
2025-03-11 10:17:15
1048
原创 一文梳理工业界大模型推荐落地经验
从传统sequential recommender问题出发，探讨GRs如何改造传统建模范式。传统的序列推荐，通常只使用用户交互过的正样本item来构造序列。这里面包含两层含义，仅使用itemID来表征item、仅使用正反馈来构造序列。前者会忽略item的各类category语义信息、后者无法捕捉一些真实后验行为(如ctr)。GR通过两方面来分别解决这两个问题。a. 通过引入辅助信息并合并到主序列实现对稀疏类别特征的建模。
2025-03-11 10:12:12
658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人