- 博客(2029)
- 收藏
- 关注
RSS订阅原创 什么是RAG？大模型rag技术原理解析，零基础入门到精通，收藏这篇就够
*什么是RAG：**RAG（Retrieval Augmented Generation）检索增强生成，即大模型LLM在回答问题或生成文本时，会先从大量的文档中检索出相关信息，然后基于这些检索出的信息进行回答或生成文本，从而可以提高回答的质量，而不是任由LLM来发挥。而一些抽象层次比较高的工作，比如需求分析、架构设计、领域设计、架构选型等，这些工作反而是大模型不擅长的，而这些工作是比较具备有竞争力的，这恰恰是一些高级程序员以及系统架构师的价值所在。学习理解大模型的核心原理，关键技术，以及大模型应用场景；
2025-06-12 18:58:49
413
原创 什么是大模型微调？如何对大模型进行微调？大模型入门到精通
2.降低每次请求的成本：一般而言，相同的性能表现，使用微调的模型与通用模型比，模型的参数量会更少，成本也就更低。这种方法的优势在于不需要调整模型的所有权重，而是通过在输入中添加前缀来调整模型的行为，从而节省大量的计算资源，同时使得单一模型能够适应多种不同的任务。这种方法的优势在于，在不显著增加额外计算负担的前提下，能够有效地微调模型，同时保留模型原有的性能水准。与传统的微调范式不同，前缀调整提出了一种新的策略，即在预训练的语言模型（LM）输入序列前添加可训练、任务特定的前缀，从而实现针对不同任务的微调。
2025-06-12 18:57:12
464
原创 告别手动：N8N + Crawl4ai + MCP 自动化网页数据抓取与 RAG 知识库构建实战（本地部署教程）
通过本文的介绍，相信你已经了解了如何使用 N8N 和 crawl4ai 搭建一个自动化抓取网站数据的工作流，并利用抓取到的数据构建知识库，最终实现 RAG 方案。这个工作流可以帮助你自动化地获取网络上的信息，为你的 AI 应用提供强大的数据支持。
2025-06-11 15:12:01
560
原创 Crawl4AI：为大语言模型打造的开源网页数据采集工具
Crawl4AI作为专为大语言模型设计的开源网页数据采集工具，通过突破传统API限制，实现了对实时网页数据的高效获取与结构化处理。其异步架构和浏览器导航技术能够处理动态内容、应对验证机制，并支持多种输出格式。无论是RAG应用、市场分析还是新闻聚合，Crawl4AI都为大语言模型提供了可靠的实时数据通道，简化了从数据获取到AI应用的整个工作流程，是AI系统获取开放网络信息的理想解决方案。步架构和浏览器导航技术能够处理动态内容、应对验证机制，并支持多种输出格式。
2025-06-11 15:09:32
976
原创 深度解析六大AI爬虫工具：crawl4ai、FireCrawl、Scrapegraph-ai、Jina、SearXNG、Tavily技术对比与实战指南
效率优先：FireCrawl和Jina适合快速获取LLM就绪数据；灵活性优先：crawl4ai和Scrapegraph-ai提供强大的自适应和定制能力；隐私与实时性：SearXNG和Tavily分别在合规和动态数据领域领先。随着大模型应用的深入，爬虫工具正从“数据搬运工”升级为“智能数据净化器”。开发者可根据具体场景组合使用，例如通过FireCrawl爬取基础数据，结合crawl4ai清洗复杂页面，最终通过LangChain构建高效的RAG系统。
2025-06-11 15:07:44
695
原创 小白入门大模型：LangChain
模型在高层次上有两种不同类型的模型：语言模型（language models）和文本嵌入模型（text embedding models）。文本嵌入模型将文本转换为数字数组，然后我们可以将文本视为向量空间。在上面这个图像中，我们可以看到在一个二维空间中，“king”是“man”，“queen”是“woman”，它们代表不同的事物，但我们可以看到一种相关性模式。这使得语义搜索成为可能，我们可以在向量空间中寻找最相似的文本片段，以满足给定的论点。
2025-06-11 15:03:55
782
原创 RAG喂饭教程：微调deepseek+Langchain打造本地知识库
1.文档预处理加载文档 → 初步语义分块 → 动态二次分块（根据内容类型区分代码、表格与普通文本） → 添加元数据2.混合检索构建向量与 BM25 检索器 → 混合（Ensemble）检索 → 重排序（CrossEncoder 重评分）3.生成模块检索相关上下文 → 构造增强 Prompt（含上下文来源、类型等信息） → 利用生成模型输出回答本文构建了一个RAG，并对RAG做了3点很普通的优化。①二次语义分块：动态适配代码、表格和文本，提升分块质量。②混合检索。
2025-06-10 14:20:39
601
原创 一文彻底搞懂大模型微调
大模型微调（Fine-tuning）是指基于预训练的大型语言模型（如GPT、BERT等），通过特定领域或任务的数据进行二次训练，使模型适应具体应用场景的技术过程。与从零开始训练相比，微调能够以较低成本实现模型的领域适配，是AI大模型落地应用的核心技术路径。
2025-06-10 14:16:28
652
原创 【AI大模型】一文搞懂模型微调Fine-tuning，适合零基础小白收藏！！
本文将从微调的本质、微调的原理、微调的应用三个方面，带您一文搞懂模型微调 Fine-tuning 。Fine-tuning模型微调一、微调的本质**如何利用预训练模型？**两种流行方法是迁移学习和微调。迁移学习是一个更广泛的概念，它包括了多种利用预训练模型的方法，而微调是迁移学习中的一种具体实现方式。迁移学习和微调**迁移学习（Transfer Learning）：**使用在大型数据集上预训练的模型作为起点，然后将其应用于新的、相关但可能较小或特定领域的数据集。Transfer Learning 迁移学习微
2025-06-10 14:15:18
543
原创 QLoRA：4-bit级别的量化+LoRA方法，用3090在DB-GPT上打造基于33B LLM的个人知识库
QLoRA 的量化过程如下：QLoRA有一个用于基本模型权重的存储数据类型（NF4）和一个用于执行计算的计算数据类型（BF16）。QLoRA 将权重从存储数据类型反量化为计算数据类型以执行向前和向后传递， 但在传递过程中仅计算使用 BF16 的 LoRA 参数的权重梯度。权重仅在需要时解压缩，因此在训练和推理期间内存使用量保持较低。
2025-06-10 14:12:23
567
原创 [大模型微调技术] LoRA、QLoRA、QA-LoRA 原理笔记
由于 GPU 内存的限制，在训练过程中更新模型权重成本高昂。例如，假设我们有一个 7B 参数的语言模型，用一个权重矩阵 W 表示。在反向传播期间，模型需要学习一个 ΔW 矩阵，旨在更新原始权重，让损失函数值最小。如果权重矩阵 W 包含 7B 个参数，则权重更新矩阵 ΔW 也包含 7B 个参数，计算矩阵 ΔW 非常耗费计算和内存。由等人提出的 LoRA 将权重变化的部分 ΔW 分解为低秩表示。确切地说，它不需要显示计算 ΔW。相反，，如下图所示，这就是 LoRA 节省计算资源的奥秘。
2025-06-10 14:11:37
998
原创 吴恩达来信：如何决定是否该进行微调？
Andrew亲爱的朋友们，在过去半年里，对小型语言模型的微调越来越受到关注。我想分享一些我对何时使用这一技术，以及何时不该使用它的看法，这些见解是基于我在多家公司观察到的情况。首先，尽管微调是一种重要且有价值的技术，许多团队目前也在使用这项技术，但其实可以通过更简单的方法（如提示工程，包括编写复杂提示、少样本提示，或使用简单的agentic工作流）来取得良好效果。那么，为什么这些团队不该对模型进行微调呢？因为微调是在预训练模型的基础上进一步针对特定应用的数据进行训练，实施起来相对复杂。
2025-06-10 14:10:28
939
原创 LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1V2到LoRA、QLoRA(含对模型量化的解释)_llm微调
如此文《LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2》中的2.2.3节Alpaca-LoRA：通过PEFT库在消费级GPU上微调「基于LLaMA的Alpaca」所述，在神经网络模型中，模型参数通常以矩阵的形式表示。对于一个预训练好的模型，其参数矩阵已经包含了很多有用的信息。为了使模型适应特定任务，我们需要对这些参数进行微调而当预训练比较大的模型时，微调模型的所有参数不太可行。
2025-06-10 14:08:45
896
原创 一文读懂「LoRA」：大型语言模型的低秩适应
LoRA（Low-Rank Adaptation of Large Language Models）作为大模型的微调框架十分实用，在LoRA出现以前本人都是通过手动修改参数、优化器或者层数来“炼丹”的，具有极大的盲目性，但是LoRA技术能够快速微调参数，如果LoRA微调后的效果不行，就可以转而修改优化器或模块了。而调整参数一步是工作量最大的，而且大模型的参数都是以亿为计数单位的，所以人工硬调参数变得不太可能，而LoRA就为这个提供了解决方法！
2025-06-10 14:07:22
685
原创 Transformer是什么？一文读懂Transformer的模型架构和底层原理
Transformer是一种用于自然语言处理(NLP)和深度学习的神经网络架构，最早由Google研究团队在2017年提出。它的核心思想是利用自注意力机制来捕捉序列中元素之间的关系，从而避免了传统RNN难以处理长序列依赖的问题。
2025-06-10 14:05:49
629
原创 【深度学习】深刻理解“变形金刚”——Transformer
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！(篇幅有限，仅展示部分）**因篇幅有限，仅展示部分资料，**有需要的小伙伴，可以点击下方链接免费领取【
2025-06-10 14:04:48
655
原创 深度学习 Transformer图解
transformer是目前NLP甚至是整个深度学习领域不能不提到的框架，同时大部分LLM也是使用其进行训练生成模型，所以transformer几乎是目前每一个机器人开发者或者人工智能开发者不能越过的一个框架。接下来本文将从顶层往下去一步步掀开transformer的面纱。
2025-06-10 14:03:19
930
原创 一文读懂： Transformer（无代码）
Transformer模型之所以被称为“Transformer”，是因为它的核心功能是对输入数据的矩阵进行变换处理。（哈哈，目前没有中文名，不是变形金刚也不是翻译）这种变换是通过计算矩阵内部各个向量之间的关系来实现的，目的是去除无效信息并加强有效信息。在这个过程中，组成矩阵的向量的值会发生变化，但形状保持不变。这样的变换使得模型能够更好地解决最终数学问题，计算最优解。
2025-06-10 14:00:40
653
原创 人工智能中的Agent（智能体）是啥？一文讲透技术原理与实战案例
定义：具备自主决策、目标导向的智能实体AI Agent 通常被定义为一种能够在特定环境中自主感知信息、进行决策，并采取行动以实现既定目标的智能实体。与传统 AI 不同，AI Agent 并非简单地按照预设的程序执行任务，而是能够根据环境的变化和自身的目标，动态地调整行动策略。例如，在一个智能家居系统中，AI Agent 可以根据家庭成员的日常习惯、环境温度、湿度等信息，自动调节家电设备，营造舒适的居住环境。它能够理解用户的潜在需求，并主动采取行动来满足这些需求，而无需用户每次都发出明确指令。
2025-06-10 13:59:49
698
原创 一文读懂：什么是AI Agent？
大家对Agent讨论的越来越多。很多人预测2025年会成为Agent元年，甚至称之为爆炸年。不过，Agent概念听起来有点抽象，该怎么定义呢？说简单也简单，说复杂也复杂。用AI搜索一下，你会看到这样的解释：Agent是一个能感知环境并采取行动来实现目标的代理体。但这又引出一个问题——“代理体”是什么？换个角度想想就不难理解了。Agent应该是一个属于你自己的“AI身份”。
2025-06-10 13:58:18
991
原创 什么是RAG？大模型rag技术原理解析，零基础入门到精通，收藏这篇就够
*什么是RAG：**RAG（Retrieval Augmented Generation）检索增强生成，即大模型LLM在回答问题或生成文本时，会先从大量的文档中检索出相关信息，然后基于这些检索出的信息进行回答或生成文本，从而可以提高回答的质量，而不是任由LLM来发挥。RAG技术使得开发者没有必要为每个特定的任务重新训练整个大模型，只需要外挂上相关知识库就可以，即可为模型提供额外的信息输入，提高回答的准确性。下面给大家分享一份2025最新版的大模型学习路线，帮助新人小白更系统、更快速的学习大模型！
2025-06-09 10:50:00
753
原创 什么是大模型微调？如何对大模型进行微调？大模型入门到精通
GPT-3 在大量互联网语料的基础上训练完成，但并不适合对话场景。例如，当输入“中国的首都是哪里？”时，GPT-3 可能会回答“美国的首都是哪里？这是因为训练数据中这两句话经常一起出现，导致模型在对话中产生错误输出。为了使 ChatGPT 更擅长对话并更好地理解用户需求，需要经过多阶段优化。CPT3 模型的微调过程包括以下关键步骤：1. 在大规模文本数据集上进行预训练，形成基础语言能力（GPT3）。2. 通过监督微调，使模型适应对话任务，生成更符合人类对话习惯的文本。
2025-06-09 10:48:31
1145
原创 在 VSCode 中本地运行 DeepSeek，打造强大的私人 AI_vscode codegpt 本地模型
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！选择后，您就可以开始编码。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
2025-06-09 10:46:19
775
原创 AI+游戏开发：如何用 DeepSeek 打造高性能贪吃蛇游戏_用deepseep贪吃蛇游戏 (2)
Vue.js项目开发全程实录》精选Vue.js开发方向的10个热门应用项目，实用性非常强。这些项目包含：智汇企业官网首页设计、贪吃蛇小游戏、时光音乐网首页设计、游戏公园博客、电影易购APP、淘贝电子商城、畅联通讯录、仿饿了么APP、仿今日头条APP、四季旅游信息网。本书从软件工程的角度出发，按照项目开发的顺序，系统而全面地讲解每一个项目的开发实现过程。体例上，每章聚焦一个项目，统一采用“开发背景→系统设计→技术准备→各功能模块的设计与实现→项目运行→源码下载”的形式完整呈现项目。
2025-06-07 14:25:25
984
原创 DeepFace深度学习库+OpenCV实现——情绪分析器_deepface情绪检测实例
核心在于结合了OpenCV进行视频处理和DeepFace进行面部情绪分析的能力。通过这些组件，实现从摄像头实时捕捉视频、分析视频中人物的情绪状态并在视频画面上直观地展示分析结果的功能。这不仅展示了如何利用现有的AI库快速构建实用的应用程序，也为进一步开发基于情感识别的复杂系统提供了基础框架或者是组件。
2025-06-07 14:24:35
592
原创 深挖 DeepSeek 隐藏玩法·智能炼金术2.0版本
（1）不要用结构化的提示词跟它进行对话我们之前用的很多模型，都需要用结构化的提示词跟它对话，你要清楚的告诉它，它的角色是什么，任务是什么，执行步骤是什么，需要注意什么。例如错误的提问方式：我明天要去武汉玩一天，生成一份攻略上面的提问很粗略，我们只提供了目的，时间，而且时间很广泛化，下面我们例举一个正确的提问方式：我明天上午做地铁去武汉，上午想和朋友们去武汉大学赏樱花，中午先吃饭然后休息1个小时左右，下午想去有名的景点看看，晚上吃完饭再去看电影，推荐一部电影，晚上10点再回学校。
2025-06-07 14:23:39
693
原创 用DeepSeek和Cursor从零打造智能代码审查工具：我的AI编程实践
Prompt工程法则使用"角色-任务-约束-示例"四段式结构为常用操作建立prompt模板库（已开源52个精选prompt）质量控制机制设置AI代码的"三重验证"流程：静态分析检查单元测试覆盖人工重点复核性能平衡点找到响应质量与速度的最佳平衡（我们的选择：800-1200ms响应时间）安全防护实现AI生成代码的沙箱执行环境敏感信息自动过滤机制团队协作模式建立"AI驾驶员+人类领航员"的结对编程新范式持续学习系统每日自动收集反馈数据更新模型每周进行效果评估和规则调整。
2025-06-07 14:22:05
882
原创 mcp-server案例分享-即梦AI文生视频
总体来说实现这个mcp server 难度不大，主要还是借助了fastapi_mcp 以及sse方式实现了这个文生视频的MCP server。感兴趣小伙伴可以基于这块框架把我之前写的fastapi 服务端接口一并改成支持mcp server服务，通过改造几个程序大家更容易理解和掌握目前最流行的MCP server了，今天的分享就到这里结束了，感兴趣的小伙伴可以关注支持，我们下个文章见。
2025-06-07 14:21:28
574
原创 Qwen3+Qwen Agent 智能体开发实战，打开大模型MCP工具新方式！（一）_qwen3 agent
Qwen-Agent是阿里通义团队推出的开源智能体（Agent）开发框架，基于 Qwen 大语言模型（LLM）构建，旨在帮助开发者快速构建具备指令遵循、工具调用、规划与记忆等能力的 AI 应用。它提供了从底层原子组件到高级智能体抽象的完整开发工具链，适用于多种复杂任务场景。更强的工具调用（Function Calling）能力:框架支持智能体自动调用外部工具或函数，包括内置的代码解释器、浏览器助手等，也支持开发者自定义工具，扩展智能体的能力。
2025-06-07 14:19:36
660
原创 Python实现 MCP 客户端调用（高德地图 MCP 服务）查询天气示例
MCP 是一种开放协议，它标准化了应用程序向 LLM 提供上下文的方式。可以将 MCP 视为 AI 应用程序的 USB-C 端口。正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样，MCP 提供了一种将 AI 模型连接到不同数据源和工具的标准化方式。
2025-06-07 14:15:04
583
原创 将现有 REST API 转换为 MCP Server工具 -higress_higress mcp
Higress 是一款云原生 API 网关，集成了流量网关、微服务网关、安全网关和 AI 网关的功能。它基于 Istio 和 Envoy 开发，支持使用 Go/Rust/JS 等语言编写 Wasm 插件。提供了数十个通用插件和开箱即用的控制台。Higress AI 网关支持多种 AI 服务提供商，如 OpenAI、DeepSeek、通义千问等，并具备令牌限流、消费者鉴权、WAF 防护、语义缓存等功能。
2025-06-07 14:14:28
840
原创 02-mcp-server案例分享-Excel 表格秒变可视化图表 HTML 报告，就这么简单_excel-mcp-server
今天主要带大家了解并实现了使用 cherry - studio 和 trae 实现 excel 表格一键生成可视化图表 html 报告的 MCP 案例。我们详细讲解了 mcp - server 的配置过程，分别介绍了在 trae 和 cherry - studio 中配置 sequential - thinking、server - filesystem、excel - mcp - server 和 quickchart - server 这 4 个 mcp - server 的方法。
2025-06-07 14:13:44
821
原创 如何在Cursor中使用MCP服务_cursor mysql mcp
MCP（Multi-Cloud Platform）是Cursor内置的多云服务接口，支持调用地图、数据库、文件系统等多种API。通过MCP，开发者无需手动写HTTP请求或繁琐配置，只需在对话中描述需求，AI助手即可自动调用相关服务，极大提升开发效率。在Cursor中结合MCP服务和AI助手，可以极大提升开发和数据处理效率。无论是地图数据采集、数据库管理，还是自动化生成前端页面，都能一站式完成。如果你也想体验AI驱动的高效开发，不妨在Cursor中试试MCP服务吧！
2025-06-07 14:11:03
526
原创 可以在命令行通过大模型使用上下文协议（MCP）与外部工具交互的软件：小巧的MCPHost_使用deepseek与外界通信的mcp
这是一次很好的实践。MCPHost小巧实用，可以很方便的架起大模型和MCP之间的桥梁。但是效果，尚需努力，使用deepseek-v3模型，离可以用，还有些距离。测试下来支持MCP的模型有：deepseek-v3 llama3.2:3b llama3.3:70b。
2025-06-07 14:08:51
878
原创 实战篇：Python开发monogod数据库mcp server看完你就会了_mongodb mcp server
目前mcp协议是给deepseek大模型插上工具链的翅膀，让大模型不仅拥有超高的推理和文本生成能力，还能具备执行大脑意识的工具能力！
2025-06-07 14:08:14
919
原创 【大模型实战篇】基于Claude MCP协议的智能体落地示例_claude for desktop
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。（篇幅有限，仅展示部分，公众号内领取）截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。**因篇幅有限，仅展示部分资料，**有需要的小伙伴，可以点击下方链接免费领取【
2025-06-07 14:04:32
991
原创 AI Agent新范式：FastGPT+MCP协议实现工具增强型智能体构建_fastgpt mcp
MCP协议（Model Context Protocol）是由Anthropic在2024年11月初发布的一种协议，旨在统一AI模型与外部系统之间的通信方式，简化它们之间的交互问题。随着OpenAI官方宣布支持MCP协议，越来越多的AI厂商也开始支持这一协议。Client（客户端）：使用AI模型的一方，通过MCP Client可以为模型提供调用外部系统的能力Server（服务端）：提供外部系统调用的一方，实际运行外部系统的主体MCP服务：可以将FastGPT应用以MCP协议对外提供MCP工具集。
2025-06-07 14:03:51
550
原创 MCP客户端与服务端初使用——让deepseek调用查询天气的mcp来查询天气
MCP，即Model Context Protocol（模型上下文协议），是由Claude的母公司Anthropic在2024年底推出的一项创新技术协议。在它刚问世时，并未引起太多关注，反响较为平淡。然而，随着今年智能体Agent领域的迅猛发展，MCP逐渐进入大众视野并受到广泛关注。今年2月，Cursor宣布正式支持MCP功能，这无疑为MCP的推广按下了加速键，使其迅速走进了众多开发人员的视野。从本质上讲，MCP是一种在智能体Agent开发过程中被广泛认可并遵循的规范。
2025-06-07 14:02:46
668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人