- 博客(50)
- 收藏
- 关注
RSS订阅原创 从 Function Calling 、MCP到 Agent、A2A：让大模型从“会说“到“会做事“的完整技术栈
Agent 的定义：能够感知环境、做出决策并采取行动来完成特定目标的智能体。LLM（大脑）：负责理解、推理、决策；规划（Planning）：把大目标拆成小步骤，以及走错后自我修正；工具（Tools & Action）：感知环境与改造环境的手脚（就是前两章的 Function Calling / MCP）；记忆（Memory）：短期记忆是对话上下文，长期记忆通常落在外部存储（如向量数据库）里，随时检索。模型只输出"调哪个函数 + JSON 参数"，从不执行函数；
2026-08-31 17:39:02
359
原创 BGE-M3 算法详解：从模型架构到三种检索方式的数学原理
2024年1月30日，智源研究院（BAAI）发布了BGE家族的新成员——BGE-M3。BGE-M3是首个集多语言（Multi-Linguality）、多粒度（Multi-Granularity）、多功能（Multi-Functionality）三大技术特征于一体的语义向量模型-。Multi-Linguality（多语言）：支持超过100种工作语言Multi-Granularity（多粒度）：输入长度最高可达8192个tokenMulti-Functionality（多功能）
2026-08-18 10:03:51
435
原创 从词袋到语义：一个QA系统的检索演进全解析
用户输入 "螺旋藻蛋白质"│▼① Redis查询: 检查 "answer:螺旋藻蛋白质" 是否存在│ 未命中▼② jieba分词（实时）→ ["螺旋藻", "蛋白质"]│▼③ BM25内存计算（核心）:- 遍历用户查询中的每个词- 与全量历史问题的分词列表（从Redis预加载）逐文档匹配- 累加命中词的BM25贡献分- 输出: scores = [0.8, 0, 0.75]│▼④ Softmax归一化（含温度系数可选）→ [0.95, 0.02, 0.03]│▼。
2026-08-14 21:16:47
370
原创 从算法到工程：构建企业级RAG系统的混合检索实践
"""倒数排序融合器（支持多路权重调整）在特定业务场景下，可以人为提升某一检索器的重要性""""""参数:k: 平滑常数，默认60weights: 各路检索器的权重列表，长度需与检索路数一致例如 [1.0, 1.5] 表示第二路检索重要性提升50%"""self.k = kdef fuse(self,"""融合多路检索结果参数:result_lists: 各路检索返回的文档列表，每个文档必须包含 doc_id_key 字段doc_id_key: 文档唯一标识字段名。
2026-08-13 20:36:33
436
原创 28.NLP 三大预训练模型 ELMo/BERT/GPT + HuggingFace Transformers
如果你刚接触自然语言处理（NLP），一定会在 ELMo、BERT、GPT 这三个名字前感到困惑：它们都是预训练模型，为什么 BERT 在阅读理解上封神，GPT 成了写作利器，而 ELMo 却渐渐淡出大众视野？它们的训练方式、底层架构、适用场景到底差在哪里？更现实的是，今天工业界几乎不再从头训练这些大模型，而是直接调用 HuggingFace 的库。新手往往被PipelineAutoModel原生模型三种调用方式搞晕——到底该选哪种？本文将从。
2026-07-20 21:13:36
362
原创 27.从注意力到 Transformer
如今 GPT、BERT 等大模型的底层根基都是注意力机制与Transformer 架构。很多新手刚接触时会混淆 Seq2Seq、Attention、自注意力三者的关系，本文从人类视觉类比切入，循序渐进讲清全套知识点，全程不用代码、脱离课件原有案例，只用生活化比喻帮你吃透底层逻辑。我们人眼观察画面、阅读文字时，不会均匀接收所有信息，会自动筛选高价值内容： 逛街看到街边招牌，第一眼只会记住店名，忽略角落小字、路人；看广告图会优先盯核心产品，次要装饰自动弱化。大脑会分配有限算力给关键信息，过滤无关噪音，这就是。
2026-07-17 21:14:24
366
原创 26.AI大模型：RNN、LSTM、GRU
RNN 全称 Recurrent Neural Network（循环神经网络），核心设计思路：将上一个时间步的隐藏状态，作为下一个时间步的附加输入，形成循环记忆链路。普通网络：每次计算相互独立，没有历史信息留存；RNN 网络：每一步运算都会携带前文 / 前序时序的特征，天然适配有序数据。单时间步固定三层结构：输入层、隐藏层、输出层 输入分为两部分：当前时刻原始特征、上一步隐藏记忆；输出分为两部分：当前时刻预测结果、传递给下一阶段的隐藏记忆。模型门控数量记忆通道长序列建模能力训练速度。
2026-07-16 21:16:42
399
1
原创 多标签多分类中OVA与NS的选择
问：标签总数 K 是否 > 50,000？否→选 OVA。理由：GPU算力足够覆盖，且准确率最高，无需承担NS的近似误差风险。是→进入第2步。问：业务是否允许 1%~3% 的近似误差？（比如推荐系统、搜索引擎排序）是→选 NS。理由：效率提升几十倍，AUC损失微乎其微，工程性价比最高。否（比如银行风控，错标罚款）→进入第3步。问：能否提前筛选候选集？（如基于规则或向量召回粗筛）能→使用“两阶段法”
2026-07-15 17:15:16
433
原创 深入浅出Word2Vec中的分层Softmax：从激活函数到梯度推导
model = Word2Vec(sentences, hs=1, negative=0) # 使用分层Softmaxloss='hs' # 或者 loss='ns'你或许会产生一连串疑问：分层Softmax是激活函数吗？还是损失函数？为什么它被归类在loss参数里？它的内部到底是怎么工作的？那个“连乘出来的极小概率”不会导致梯度消失吗？它名字里带着“Softmax”，但Softmax激活函数到底在哪一步用了？本文将从零开始，手算一个完整的分层Softmax训练流程，把所有这些谜题一次性解开。
2026-07-15 16:21:45
327
原创 25.AI大模型：FastText 文本分类任务详解
FastText 的魅力在于用最简单朴素的数学操作（向量平均），缝合了自然语言处理中最经典的技术栈（霍夫曼树、负采样、子词），在工业界精度与效率的博弈中找到了完美的黄金分割点。想要极致速度？用loss='hs'或loss='ns'（单标签）。想要更高精度？调高epoch和lr，增加wordNgrams。想要处理多标签？请彻底忘记ns，坚定使用loss='ova'，并配合温和的学习率。
2026-07-15 15:09:43
353
原创 24.AI大模型开发：NLP----从文本预处理到 FastText 词向量前言
原始文本语料（新闻、评论、小说等）是纯字符文本，存在脏数据、长短不一、标签不均衡等问题，无法直接送入 AI 模型。文本预处理就是在数据输入模型前，对文本与标签做一系列标准化清洗、统计、转换操作，产出符合模型输入规范的特征 X 与标签 Y。把无分隔符的连续汉字序列，按照语义规则切分成独立词语序列的过程。英文天然依靠空格区分单词，但中文句子字与字紧密相连，没有天然分隔标记，因此中文分词是中文 NLP 独有的刚需步骤。通用词典无法识别行业专有名词（如专业品牌、专业术语），会错误拆分长专有名词。词汇 词频 词性。
2026-07-13 21:10:39
363
原创 23.大模型开发：深度学习----CNN 卷积神经网络 与 RNN 循环神经网络
什么时候用 CNN，什么时候用 RNN。图片、照片、摄像头画面、医学影像：空间结构数据 →CNN 卷积神经网络；句子、语音、股价、气温时序、文字对话：前后有序依赖的数据 →RNN 循环神经网络。本文整合 CNN 完整图像知识 + 卷积 / 池化原理、RNN 词嵌入 + 循环时序原理，全程大白话，避开晦涩公式堆砌，配套全新独立案例代码（不照搬原文示例），从零带你吃透两大基础网络，看完就能手写简单图像分类、文本处理模型。一张 640×640 彩色图，像素总量参数爆炸，训练慢、极易过拟合；
2026-07-11 20:52:35
315
原创 神经网络激活函数：从“必须存在”到“反向传播的数学本质”
在搭建一个简单的全连接网络时，初学者往往会把“线性层（Linear）”和“激活函数（Activation）”视为两个割裂的模块。“反向传播不是对损失函数求导来更新权重吗？这里面有激活函数什么事？这个问题直击神经网络设计的核心。如果回答不清，我们对反向传播的理解就停留在“背公式”的层面。本文将带你从为什么必须要有激活函数开始，一步一步推导出它在反向传播（复合函数求导）中扮演的关键角色，并最终解释为什么ReLU能成为工业界默认首选。环节激活函数的角色关键数学特征前因（必要性）
2026-07-08 17:30:20
425
原创 23.大模型开发：深度学习----损失函数与网络优化
现象根源解决方案Loss 一直是 Nan梯度爆炸1. 检查初始化（换Kaiming） 2. 加入梯度裁剪 3. 降低学习率Loss 几乎不变梯度消失1. 不要用Sigmoid/Tanh太深 2. 换ReLU 3. 加BN训练集Loss很低，验证集很高过拟合1. 加大Dropout概率 2. 减少网络宽度/深度 3. 早停（Early Stopping）Loss 震荡极其剧烈学习率太大1. 换学习率衰减 2. 换Adam（自适应lr）希望这次深度剖析能帮你打通任督二脉。
2026-07-08 17:16:11
388
原创 从链式法则到ReLU：梯度消失的数学本质与工程解决方案
必须看任务类型，选错直接导致模型输出无物理意义！任务场景推荐激活函数输出含义回归（预测连续数值，如房价）无激活（线性层）输出任意实数 (−∞,+∞)(−∞,+∞)二分类（是和否）Sigmoid输出 0~1，代表正类的概率多分类（互斥）（猫/狗/鸟三选一）Softmax输出 N 个 0~1 的数，且总和 = 1（概率分布）多标签分类（图片中同时含有猫和狗）Sigmoid每个节点独立输出 0~1 概率关键问题核心回答它是什么？浅层（靠输入）的梯度趋近于 0，权重停止更新。根本原因？
2026-07-06 21:10:59
376
原创 22.AI大模型开发：深度学习中神经网络的神经元、激活函数与参数初始化
网络位置推荐激活函数原因隐藏层ReLU（首选）计算快，梯度不消失，稀疏性隐藏层（备选）缓解 Dead ReLU隐藏层（少用）Tanh以 0 为中心，但仍有梯度消失隐藏层（避免）Sigmoid梯度消失严重，计算慢输出层（二分类）Sigmoid输出概率输出层（多分类）Softmax输出概率分布输出层（回归）无（恒等）直接输出连续值概念核心要点神经网络由多层神经元组成，每层做“加权和+激活”，数据从输入流向输出（前向传播）。激活函数引入非线性，让网络能拟合复杂函数。
2026-07-06 19:59:54
414
1
原创 人工智能训练的核心秘密：梯度下降与L1/L2正则化
y_true = 2预测值 10 比真实值 2 大了 8，模型错了。定义一个函数，用来量化"错得有多严重"。这个函数叫损失函数，我们用均方误差把当w = 10这个 64 代表当前模型的错误程度。方法解决的问题梯度公式对参数的作用梯度下降如何找到让损失最小的参数梯度 = 2×误差×x_k让每个参数朝损失减小的方向移动L2 正则化防止参数过大导致过拟合梯度 = 2×误差×x_k + 2×λ×w_k所有参数都变小，但不归零，解唯一L1 正则化识别并删除不重要的特征。
2026-07-04 20:51:28
438
原创 21.AI大模型开发：深度学习----PyTorch入门
概念通俗解释深度学习用多层神经网络，让机器从数据中自动学特征张量（Tensor）多维数组，PyTorch处理数据的基本单位自动微分（autograd）PyTorch自动帮你求导，省去手推公式梯度函数在某一点的变化率，指导参数调整方向梯度下降沿着梯度反方向更新参数，让损失变小。
2026-07-03 20:24:31
286
原创 20.AI大模型开发：机器学习----集成学习与聚类算法
如果你刚接触机器学习，一定会被各种算法名字搞得头晕。今天咱们不讲那些高深数学，只用大白话+生活例子，把集成学习和聚类算法彻底讲清楚。集成学习：解决“一个模型不够准”的问题 —— 多个人一起决策，比一个人靠谱。聚类算法：解决“数据没有标签，怎么分组”的问题 —— 让相似的数据自动抱团。读完这篇，你能看懂面试题、能自己跑代码、能知道什么时候该用哪个。想象你要判断明天会不会下雨。你问了一个天气预报员，他说“会下”。但他可能看走眼。于是你问了10个。
2026-07-02 21:07:10
453
原创 19.AI大模型开发：机器学习----决策树与CART算法
今天讲一个特别直观、特别好懂的算法——决策树（Decision Tree）。你平时生活里其实天天都在用决策树，只是你自己没意识到。比如：年龄合不合适？→ 长得帅不帅？→ 工作好不好？→ 见还是不见？声音闷不闷？→ 瓜蒂新不新鲜？→ 皮薄不薄？→ 买还是不买？决策树就是把这种“一问一答”的决策过程，用计算机自动学出来。CART（分类与回归树）。它是目前最主流的决策树实现，也是随机森林、XGBoost、LightGBM这些高级算法的“地基”。模块核心内容决策树思想一层一层做选择题，直到得出结论。
2026-06-30 20:46:41
654
1
原创 18.AI大模型开发：机器学习----KNN算法
KNN算法：如果一个样本在特征空间中的K个最相似的样本中的大多数属于某一个类别，那么这个样本也属于这个类别。你邻居是啥样，你就是啥样。任务类型APIK值参数分类回归模块核心内容算法思想“近朱者赤，近墨者黑”——看最近的K个邻居相似度度量欧氏距离 d=∑(x1−x2)²K值太小过拟合，太大欠拟合，用交叉验证选最优分类K个邻居投票，多数取胜回归K个邻居取平均特征预处理必须做标准化！让特征在同一尺度交叉验证把数据分N份，轮流做验证集，取平均分网格搜索自动尝试多组超参数，返回最优组合混淆矩阵。
2026-06-29 21:14:43
244
原创 从多项式回归到“水平直线”：Matplotlib 绘图中的 NumPy 数组维度隐患
在机器学习练手时，我们经常会遇到“代码逻辑一模一样，但运行结果却大相径庭”的诡异情况。最近在复现一个简单的二次多项式回归（）时，我就遇到了这个让人挠头的现象：写法 A：画出了一条完全违背数学规律的水平直线。写法 B：完美展示了优美的抛物线拟合曲线。明明都是利用 构造了二次项特征，为什么要呈现的结果天差地别？今天我们就来深挖一下这背后的NumPy 数组维度陷阱。✅ 正确示范（正常显示了抛物线）很多人第一反应是：是不是生成 的时候， 被提前变成了二维数组，触发了广播机制（Broadcasti
2026-06-29 21:01:26
396
原创 16.大模型进阶实战：从“能聊天”到“懂业务”的全链路拆解
今天我们彻底告别了照本宣科，从Docker 的环境思维RAG 的架构心法Dify 的工作流编排，一路讲到RAGFlow 的强强联合以及成本调优。你现在具备的不是“会点按钮”的技能，而是面对一个真实混乱业务场景，能拆解出技术方案并落地排坑的能力。
2026-06-23 11:16:09
367
原创 15.AI大模型学习：从 RAG 原理到 Dify 实战
大模型本身有几个硬伤：知识截止到训练时，不知道最新信息。不知道你公司的内部资料。遇到不确定的问题容易瞎编（幻觉）。每次资料变化都去重新训练模型，成本太高。RAG 的思路非常巧妙：不把知识硬塞进模型大脑，而是让模型在回答问题时，先去你的资料库里翻书，找到相关内容，再结合自己的语言能力来回答。标准流程长这样：你的文档 → 解析 → 切分成小段 → 转换成向量（语义指纹）→ 存入向量库用户提问 → 把问题也转成向量 → 检索最相似的几个片段 → 把片段+问题一起给大模型 → 大模型生成回答。
2026-06-20 20:36:11
489
原创 AI大模型学习第十四天：Coze项目实战中的分治智慧
每个模块都会输出自己的结果。但学员最终需要看到的不是零散的信息，而是一份清晰、完整的反馈。结果整合节点要做几件事：收集所有模块的输出（比如问答模块的答案、截图纠错模块的错误列表、作业点评模块的评语）。去掉重复的内容（比如不同模块都提到了“代码缩进有问题”，只保留一条）。按重要性或逻辑顺序组织（先指出严重错误，再给优化建议）。用友好的格式呈现（分点、加粗关键信息、适当使用表情符号）。这一步非常重要。如果没有结果整合，工作流就像一个只生产零件、不组装成品的工厂，用户拿到手是一堆散件，没法直接用。
2026-06-15 20:11:35
360
原创 AI大模型学习第十三天：让AI学会查资料、记数据、看图和听声
RAG的全称是“检索增强生成”。名字有点绕，但道理很简单。想象你参加一场开卷考试。考题是“我们公司的病假需要提供什么证明？”老师允许你翻看员工手册。你会怎么做？第一步，你翻到“请假制度”那一章，找到关于病假的段落。这叫检索。第二步，你阅读那几行文字，明白了需要“二级以上医院开具的病假条”。这叫获取内容。第三步，你用你自己的话写出答案：“根据公司规定，请病假需要提供二级以上医院出具的病假条。”这叫生成。先检索相关资料，再基于资料生成答案。如果不做RAG，AI只能靠自己的“记忆”回答。
2026-06-14 19:41:29
338
原创 AI大模型学习 第九天：大模型幻觉、提示词工程与云端调用
本文主要介绍了提示词工程相关的AI大模型幻觉产生的原因和解决方式以及如何在python中调用大模型。
2026-06-08 20:15:51
472
原创 AI大模型学习Day08：数据分析之Numpy，pandas，Matplotlib
本文主要讲解了python数据分析中numpy，dataframe和matplotlib的使用。
2026-06-05 20:17:04
275
原创 AI大模型学习06：正则表达式和mysql
正则是一个“模式描述”工具，用于匹配、提取、替换一类字符串。\d\w\s?{m}().*?。re.matchvsre.searchvsre.findall的区别。MySQL 的 DDL、DML、DQL 三大类 SQL。多表查询：内连接、左连接、子查询。UPDATE和DELETE必须带WHERE，否则整张表遭殃。
2026-06-01 20:20:15
217
4
原创 AI大模型学习02：Python继承和多态
一个子类只允许有一个父类。就像你只能有一个亲生父亲。同一个操作（比如“开机”），作用在不同设备上，产生不同的效果。你手里的万能遥控器，按“开/关”键，空调会调温，电视会换频道，灯会亮灭。这就是多态。在属性名或方法名前加双下划线__。
2026-05-26 21:20:19
402
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人