- 博客(896)
- 收藏
- 关注
RSS订阅原创 从0到1，彻底搞懂 RAG 分块的艺术（附开源代码）
分块没有一成不变的银弹，它是一门需要根据具体场景不断权衡和实验的艺术。最后，为你总结几条可以直接上手的最佳实践：✅选择 200-800 Token 作为你的起点。✅它在大多数场景下表现最好。✅如果你的文档是 Markdown 或 HTML，别浪费了这些天然的边界。✅构建评测集，大胆尝试不同的分块策略和参数组合，找到最适合你业务的方案。✅当精度遇到瓶颈时，试试句子窗口或父文档检索器，效果拔群。分块是优化 RAG 系统的第一步，也是最关键的一步。
2025-07-31 15:08:25
688
原创 Unsloth微调Qwen3实战：让大模型训练飞起来的神器
以前搞大模型微调真的是一件让人头疼的事情。动不动就要几十G的显存，训练个模型恨不得把电费账单给烧爆了。我记得有次用传统方法微调一个7B的模型，电脑风扇转得跟飞机起飞似的，吵得我邻居都来敲门了。这时候Unsloth就像个救世主一样出现了。它号称能够把微调速度提升2-5倍，内存使用量还能减少80%。刚开始我是不太信的，这年头吹牛的项目太多了。直到我亲自试了一把，才发现这货是真的厉害。
2025-07-31 15:07:50
747
原创 Transformer——Attention怎么实现集中注意力
前面我们了解了Transformer的整体架构，本文章是该系列的第二篇文章，我们一起来看一下Attention怎么发挥作用。在介绍之前，我先介绍一下在衡量向量间的对齐度的作用和。从计算上看，点积是将所有的对齐分量相乘并累加；从几何上看，当向量指向相似方向时，点积为正，如果向量垂直，点积为0，当向量方向相反时则为负数。
2025-07-31 15:06:50
842
原创 Transformer，看这一篇就够了！
Transformer最初是为了解决序列转导或神经机器翻译的问题而开发的，这意味着它们旨在解决将输入序列转换为输出序列的任何任务。这就是为什么他们被称为“Transformer”。
2025-07-31 15:05:27
605
原创 新思路！如何在数据稀缺下构建高质量丰富数据集？
这是最近我经常收到的两个大家对于大模型训练和数据集构建的问题。微调后效果不佳，大概率还是数据集本身质量或者丰富度的问题。而在有限的数据下，如何构造出更丰富的数据集呢？今天我就跟大家来介绍一种数据集增强的新思路，以及如何在 中基于这种思路来构建更丰富的高质量数据集。当前，大模型的训练高度依赖训练数据的规模与质量，但现实往往面临着两大矛盾：字节跳动 Seed 团队最近发表了一篇论文：《》其中提出了一种新的 Massive Genre-Audience（MGA） 方法，通过轻量级框架将现有语料系统重构为多样化变
2025-07-17 14:47:55
908
原创 学习笔记（大模型应用模式）
近期，在学习人工智能大模型应用模式。大模型无疑是当下最热的词汇，几乎是无大模型，无AI。大家经常用的Deepseek、ChatGPT也都属于大模型范畴。这里不探究大模型技术体系，重点谈谈大模型的几种常见应用模式。这是最简单的模式，大模型“开场白”——从【说一句，回一句】开始。你输入一句话，它生成一句回答；你继续问，它继续答。让模型能够请求执行“具体动作”——比如读取数据库、访问第三方接口、调动系统命令等。
2025-07-17 14:36:09
948
原创 一篇Graph+AI Agents最新技术综述
最近出了一篇关于图（）与人工智能代理（）结合的综述性研究，提出了一个分类框架来组织这一领域的研究进展，详细讨论了图技术在AI代理的核心功能中的作用。Graph与AI Agents相结合的总体示意图。
2025-07-17 14:35:19
915
原创 一文详解大模型微调与部署原理和方法（含整个流程&2个项目）
最后一公里的核心技术。预训练模型虽具备通用能力，却缺乏垂直领域知识（如医疗/法律）和任务特异性（如客服话术/财报生成）。微调通过轻量级参数调整，将千亿级模型低成本适配到企业场景，实现“”的融合。具体来讲，为什么需要微调？（1）：预训练模型可能不擅长专业任务（如医疗诊断、法律分析）。（2）：让模型掌握特定领域术语（如金融、生物医药）。（3）：根据用户偏好调整输出风格（如正式/简洁/幽默）。
2025-07-17 14:34:19
690
原创 云计算技术架构详解(4大核心技术)
云计算通常分为三大类：基础设施即服务 (IaaS)、平台即服务 (PaaS) 和 软件即服务 (SaaS)。IaaS提供硬件基础，PaaS在IaaS上构建开发平台，SaaS在PaaS或IaaS上提供最终用户应用，层层递进。提供虚拟化的计算资源，如服务器、存储和网络硬件。用户可以按需租用这些基础设施，并自行管理操作系统、应用程序等。比如：AWS EC2、阿里云ECS…这些都是典型的Iaas。
2025-07-17 14:33:26
839
原创 最全的Ollama使用详解
ollama支持导入Safetensors与GGUF两种格式的本地模型导入，还支持对模型进行量化与自定义提示词。本地开发与测试： 开发者可在个人电脑上离线运行、调试和微调开源大模型（如LLaMA系列、Mistral等），无需依赖云端API，提升效率并保护隐私。私有化部署： 适用于对数据安全要求高的场景（如金融、医疗、企业内部），将模型完全部署在本地服务器或私有云，确保敏感数据不出本地。定制化模型应用： 结合自定义提示模板和参数调整，打造特定领域（客服、写作辅助、代码生成）的专属AI工具。
2025-07-16 15:33:24
812
原创 大语言模型（LLM）之更好的搜索增强生成(RAG)方案——RAG-Fusion
当然这样利用大模型去进行搜索query改写，虽然能够带来更丰富的搜索信息，但是性能上会受到损失，产品上的设计一定要考虑这一点。
2025-07-16 15:31:18
697
原创 AI Agent&MCP的工程化实践-系列
接下来的半个月到一个月时间，会做一些AI Agent的工程化实践。不同于一些传统demo性质的文章和代码，这里会聚焦一些真正需要思考解决的工程化的问题，项目地址：https://github.com/dubin555/lang_agent。
2025-07-16 15:30:47
662
原创 万字长文深入浅出教你优雅开发复杂AI Agent
AI Agent 的发展正处于爆发前夜，从最初的 LLM 聊天机器人，到具备规划、记忆、工具调用能力的智能体，再到多 Agent 协作的复杂生态，整个行业正在经历一场范式转变。本文系统梳理了 AI Agent 的核心理念、主流协议（MCP、A2A）、思考框架（CoT、ReAct、Plan-and-Execute），并结合 Golang 生态下的 Eino、tRPC-A2A-Go 等工程化框架，结合实际例子详细讲解了如何优雅地开发、编排和观测复杂的智能体系统。
2025-07-16 15:30:10
917
原创 深入浅出RAG详解：语言模型的“开卷考试”——让模型答案锚定现实的外部“记忆”
理解RAG需要区分其采用的两种记忆类型，这一区别是其强大灵活性的核心。
2025-07-16 15:27:24
753
原创 如何分钟级完成大模型应用开发环境搭建
据投资银行高盛（Goldman Sachs）发布报告，随着 AI 技术的突破，预计全球将有 3 亿个工作岗位被生成式 AI 取代。麦肯锡全球研究院也有共识：到 2030 年全球将有 4 亿个工作岗位受到自动化冲击。如今，普通人的生产力正在被 DeepSeek、Sora 等工具不断重塑，特别是 Cursor 这样的 AI 助手出现以后，即便是完全不懂编程的小白，也仅需通过自然语言描述想法，就能实现 AI 辅助编程、智能代码补全、错误检测与修复、代码优化、插件扩展等多种功能。
2025-05-13 15:51:50
800
原创 从0到1打造一个知识库 AI Agent（智能体）
接下来，我们进入正题，从0到1到打造个人知识库 AI Agent（智能体）。同样，我希望大家看完后，收获最大的是如何打造知识库的思维过程，这些是高价值的知识。这篇文章，分成了三部分接下来，我们开始第一部分的内容：需求分析。首先我们了解一下什么是知识库？接下来，我们对知识库智能体平台进行选型。很多朋友可能会说，有很多的笔记软件平台啊，为啥不用啊，可以用的啊，每个人的选择不一样。这里我们是用大厂的产品自建，安全、免费、功能多，后期扩展性强。
2025-05-13 15:49:21
767
原创 2025年如何学习 AI Agent（智能体）？如何选型？ (2)
搭建一个 AI Agent（智能体）用什么平台？用什么技术框架？我的场景如何结合 AI Agent？现在出了这么多平台、框架，我应该学哪个呢？这篇文章，我会围绕上面的问题来讲解。无论你是否是技术人员，相信这篇文章对你都会有所收获。这篇文章内容会包含如下几部分：面对快速发展的 AI 技术，我们应该优先学习什么？如果我没有编程经验，我可以用哪些平台来搭建 AI Agent？对于有编程经验的人，有哪些推荐的 AI 技术路线？
2025-05-13 15:47:44
632
原创 2025版最新大模型算法岗位薪资指南，（非常详细）零基础入门到精通，收藏这一篇就够了
AI大模型应该是当前AI领域最火的方向了。近日看到有些工资爆料，比如下面硕士985，大模型算法工程师，base薪资45K，4万签字费：硕士不是985，但是211，并且还是转码的，毕业还延了一年。现在转码不容易，延毕还能拿到这个薪资，那是更属不易：211选择其他非计算机AI专业，毕业想找到4开头的薪资，现在是很难的。
2025-05-13 15:47:11
1923
原创 最新大模型就业方向，（非常详细）从零基础入门到精通，收藏这篇就够了
大模型就业方向主要集中在以下几个核心领域：数据治理方向：涉及爬虫、数据清洗、ETL、Data Engine、Pipeline等工作，确保数据质量和可用性，支持模型训练和运行。平台搭建方向：负责分布式训练、大模型集群以及工程基建，构建高效的模型运行平台，支持高性能计算。模型算法方向：专注于开发新的预训练模型和优化算法，提升模型的准确性和效率，适用于NLP、语音助手、对话机器人等领域。部署落地方向：包括云端部署和端侧部署，如推理加速平台和嵌入式系统，确保模型在实际应用中的性能和可靠性。
2025-05-13 15:46:41
829
原创 手把手教你使用langchain4j编写大模型RAG
RAG是通过把本地知识库检索结果和用户的交互信息，一同提交给大模型，由大模型再次加工后，形成最终结果的一个过程。RAG是最简单的使用大模型为我们工作的模式，有着广泛的应用，例如，让大模型成为我们专业领域的客服，让大模型根据我们专业领域知识产生文档等。本文手把手教你用langchain4j编写一个最简单的RAG。STEP4： 编写具体的RAG过程代码RAG过程需要一个大模型调用，以及本地知识库检索内容。
2025-04-14 16:03:29
766
原创 一文讲清大模型AI应用架构
讲在开头：关于大模型 AI 应用架构的文章目前并不多，在经过几次小的项目探索后，这篇文章拿出来抛砖引玉，欢迎大家指正，一起探讨。如果说 2023 年是大模型大爆发的一年，这一年的机会主要给了大厂或者拿到大笔融资的创业者；那么 2024 年将是 AI 应用大爆发的一年，也意味着普通人有更多的机会加入这一浪潮。今天结合基于大模型的 AI 产品架构来看看普通人的机会在哪里，这些普通人包括：在讲述 AI 产品架构之前，我们先来看看客户的诉求。因为一切的设计都是从需求出发，大模型AI 产品也不例外。*1*从 AI 产
2025-04-14 15:47:01
678
原创 一文剖析AI大模型技术架构的全景视图：从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层
AI 大模型已经在具体的业务场景落地实践，本文通过梳理 AI 大模型技术架构的全景视图，让你全面了解 AI 大模型技术的各个层次，从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层，如下图所示，揭示 AI 大模型如何在不同的层面上协同工作，推动产业应用的落地。**一、 基础设施层**AI 大模型技术发展离不开坚实的基础设施支持，涵盖了 GPU、CPU、RAM、HDD、Network 等关键硬件设施。这些硬件设备为 AI 大模型的训练与推理提供了关键的运算资源和存储能力。
2025-04-14 15:44:13
1282
原创 从理论到实践：RAG、Agent、微调等6种常见的大模型定制策略
大语言模型（LLM）是基于自监督学习预训练的深度学习模型，训练数据量庞大、训练时间长，并且包含大量的参数。LLM在过去两年中彻底改变了自然语言处理领域，展现了在理解和生成类人文本方面的卓越能力。然而，这些通用模型的开箱即用性能并。LLM单独使用时无法回答依赖于公司专有数据或封闭环境的问题，这使得它们在应用中显得。由于从零开始训练一个LLM模型需要大量的训练数据和资源，这对于中小型团队来说基本不可行。因此，近年来开发了多种LLM定制策略，以便针对需要专业知识的不同场景调优模型。
2025-04-14 15:43:32
649
原创 大模型微调库全面对比！
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
2025-04-14 11:55:30
1035
原创 大模型应用开发LangChain4j和SpringBoot3.4.3实战构建智能问答系统
LangChain4j 是一个用于构建和操作语言模型（LLM）应用的 Java 框架，而 Spring Boot 3 是 Java 生态中最流行的框架之一。本文将带你从零开始，结合 LangChain4j 和 Spring Boot 3，构建一个智能问答系统。我们将涵盖从环境搭建到实际开发的完整流程，帮助你快速上手 LangChain4j 并集成到 Spring Boot 项目中。上一篇文章分享了。
2025-04-01 11:46:49
1242
原创 如何在 Java 中基于 LangChain 编写大语言模型应用
作者 | Kumar Chandrakant译者 | 张卫滨策划 | 张卫滨***，由 InfoQ 中文站翻译分享。***引 言在本教程中，我们将会研究 LangChain 的细节，这是一个利用语言模型开发应用程序的框架。首先，我们会介绍有关语言模型的基本概念，这将对本教程有一定的辅助作用。尽管 LangChain 主要提供了 Python 和 JavaScript/TypeScript 语言的版本，但是也有在 Java 中使用 LangChain 的可选方案。
2025-04-01 11:44:53
794
原创 一文带你了解RAG(检索增强生成) 概念理论介绍+ 代码实操
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
2025-03-19 15:36:51
1039
原创 LORA 微调大模型：从入门到入土。从零基础到精通，收藏这篇就够了！
模型在训练集表现优异（如 98% 准确率），但在验证集/测试集显著下降（如 70%），这种现象称为过拟合。本质是模型过度记忆了训练数据中的噪声和特定模式，导致泛化能力下降导致模型过拟合.
2025-03-19 15:07:28
1231
原创 LLM大模型训练工具，小白也能轻松搞定！
Axolotl 是一款旨在简化各种人工智能模型微调的工具，支持多种配置和架构。主要特点：示例：Llama-Factory使用零代码命令行与 Web UI 轻松训练百余种大模型，并提供高效的训练和评估工具。主要特点：示例：FirflyFirefly 支持对主流的大模型进行预训练、指令微调和 DPO。主要特点：示例：XtunerXTuner 由上海人工智能实验室发布，是一个高效、灵活、全能的轻量化大模型微调工具库。主要特点：高效灵活全能示例：Swiftms-swift是魔塔提供的大模型与多模态大
2025-03-19 15:06:04
997
原创 LLM大模型技术实战10：一文带你入门大模型开发框架Langchain
你可能听说过，最近几个月出现了很多人工智能的应用程序。你可能也在用一些这样的应用。比如ChatPDF和CustomGPT AI这些AI工具，它们可以帮我们省去很多麻烦，我们不用再翻来覆去地看文档，就能找到想要的答案。它们让AI为我们做了很多工作。那么，开发这些工具的人是怎么做到的呢？其实，他们都用了一个叫LangChain的开源框架。01*LangChain**简介**
2025-03-19 15:04:53
613
原创 Java开发者LLM实战——使用LangChain4j构建本地RAG系统
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条。
2025-03-19 15:03:51
1269
1
原创 Java大模型开发框架LangChain4j从入门到精通：高级Api之AiServices对话记忆
上期我们介绍了low-level的api，这些API提供了高度的灵活性，允许开发者自由组合各个组件以满足复杂需求，但相应地，也带来了较高的编码工作量。为了平衡灵活性与开发效率，本期我们将聚焦于langchain4j的high-level API——AiServices，它以更高的封装度简化业务逻辑的实现，显著降低代码复杂度。AIServices集成了多种高级功能，如（如搜索引擎、数据库查询等）、以及（Retrieval-Augmented Generation）等，旨在帮助开发者快速搭建智能对话系统。
2025-03-19 15:02:02
1316
原创 大模型微调技术全景解析：从理论到企业级实践（Python实战增强版）
大模型微调（Fine-tuning）是指在预训练语言模型（Pre-trained Language Model, PLM）的基础上，通过特定领域或任务的数据进一步调整模型参数，使其适应下游任务需求的技术。
2025-03-18 14:05:35
1209
原创 从零开始的DeepSeek微调训练实战（SFT）
前言本文重点介绍使用微调框架unsloth，围绕DeepSeek R1 Distill 7B模型进行高效微调，并介绍用于推理大模型高效微调的COT数据集的创建和使用方法，并在一个medical-o1-reasoning-SFT数据集上完成高效微调实战，并最终达到问答风格优化&知识灌注目的。你能收获什么：亲手完成DeepSeek R1蒸馏模型的微调实战对模型微调、推理数据集等知识有一定了解对大模型运行的机制和原理有一定的了解有机会制作一个属于自己的定制化大模型。
2025-03-18 13:55:03
1230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人