- 博客(79)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 新书预告 从《Transformer与大语言模型》到《LLM量化实战》
《Transformer 与大语言模型》完结，新系列《LLM 量化实战》启动。上一本解析“为什么”设计大模型，本册聚焦“怎么”让模型变小变快——从FP16到4-bit量化，详解GPTQ、AWQ、QLoRA、GGUF等技术，结合RTX 4090实测，手把手教你压缩模型、降低显存、部署推理。适合想在8GB~24GB显存设备上运行7B/70B模型的开发者与工程师。原理+实战双线并进，只写真实跑通的结果。
2026-11-08 11:07:08
318
原创 第22章 实现一个完整的 RAG 系统(终章)
本章构建了一个完整的本地RAG系统，集成BGE嵌入、Chroma向量库、BM25与RRF混合检索、BGE重排序器及Qwen2.5-7B-Instruct生成模型。通过结构化分块、增量索引、带引用的Prompt设计与拒答机制，实现精准问答。基于Recall@K与MRR量化评估各组件贡献，实测在RTX 4090上完成端到端推理，兼顾性能与可解释性，具备生产可用性。
2026-11-07 18:16:56
249
原创 第21章 从零训练一个简单的 GPT（PyTorch)
本章在莎士比亚文本上从零训练一个1077万参数的字符级GPT，采用Decoder-only结构，结合SDPA、bf16精度与torch.compile，在RTX 4090上90秒完成训练。通过早停缓解过拟合，实现Temperature与Top-k采样，并亲手构建KV Cache验证其生成一致性及加速效果，揭示其在长序列推理中真正发挥作用的条件。
2026-10-31 22:50:36
272
原创 第20章 从零实现 Transformer（PyTorch）
本章从零实现Transformer模型，不依赖PyTorch内置模块。通过序列翻转任务（输入数字倒序输出）验证各组件：Embedding与位置编码、Multi-Head Attention、Feed-Forward Network、Encoder/Decoder结构及三种Mask机制。使用RTX 4090仅17秒训练至99.6%准确率，可视化Cross-Attention对齐矩阵，揭示模型学习过程。实验对比手写Attention与SDPA性能差异，并定位Hugging Face源码，总结常见坑点，实现代码全
2026-10-22 23:37:52
752
原创 第1章 机器学习到底在学什么？
本章通过房产估价案例，揭示机器学习的本质：从历史数据中自动学习规律。核心是将经验转化为数学模型（如价格与面积成正比），并通过参数（如每平米单价）来体现具体规律。学习过程即通过损失函数衡量预测误差，再用优化方法寻找最优参数。最终实现“训练—推理”闭环，回答了“机器到底学到了什么”这一根本问题，引出模型、损失、优化三大要素框架。
2026-10-21 12:57:12
306
原创 装个 llmcompressor 把我 torch 升崩了：一次不碰系统 CUDA 的环境自救实录
本文记录一次在不破坏系统CUDA的前提下，通过dry-run分析、版本比对与依赖推理，成功规避llmcompressor强制升级torch/transformers的陷阱。核心发现：仅0.11.0版本兼容现有4.56.2版transformers，但需升级torch；关键认知突破——pip安装仅影响venv内CUDA runtime，系统驱动不受影响。最终确认驱动上限为12.9，故必须使用+cu126而非默认+cu13的wheel，成功实现环境自救。
2026-10-08 23:26:11
289
原创 第19章 RAG（Retrieval-Augmented Generation）
fill:#333;important;important;fill:none;RAG离线建库文档解析Chunking分块Embedding向量化存入向量数据库在线检索向量检索Top-KReranker重排序生成构建PromptLLM生成基于文档回答让 LLM 基于可信的外部知识回答问题，减少幻觉，支持知识更新。
2026-09-30 20:00:00
704
原创 多智能体AI正在接管供应链：从“AI给建议”到“AI直接执行”
多智能体AI正推动供应链从“预测”迈向“执行”时代。通过需求、库存、采购、物流、风险等专业Agent协同，结合Supervisor统一决策，并直接对接ERP/WMS/TMS系统，实现问题发现到执行的闭环。案例显示，决策速度提升3倍，交付准确率提高30%。核心价值在于“受控自治”：低风险自动执行，高风险人工审批，设置财务与运营阈值作为保险丝。尽管面临供应商非标准化等挑战，但企业正逐步将Agent嵌入真实供应链，开启高效、敏捷的智能运营新范式。
2026-09-30 11:26:46
186
原创 AI Agent 正在成为恶意软件的新分发渠道？——从 FakeGit 看 AI 时代的软件供应链攻击
AI Agent正成为恶意软件新分发渠道，攻击者通过伪造GitHub项目（如FakeGit）利用AI推荐机制传播恶意软件。传统攻击依赖欺骗用户，而今攻击者转向“AgentBaiting”——通过优化项目可信度（Stars、Downloads、文档）诱导AI推荐恶意MCP工具，实现间接提示注入与工具投毒。由于AI Agent具备访问私密数据、处理不可信内容并对外通信的能力，一旦被操控即引发严重安全风险。这标志着软件供应链已扩展至AI信任链，安全验证需从静态检查转向持续信任评估。
2026-09-27 15:32:18
605
原创 AI是怎么识别假证件的？从OCR到文档取证，一文看懂AI文档反欺诈
如果只看这篇新闻，你可能觉得"原来有 7 家公司在做 AI 文档验证"。文档欺诈正在从传统图像造假，进入 AI 生成、数字取证和欺诈网络分析阶段。过去我们只问"这张图有没有 P 过"，现在要问一连串问题：文件是否被修改过？是不是 AI 生成的？和历史文件、其他申请有没有关联？里面的数字是否符合业务逻辑？是不是欺诈团伙的一部分？。AI 正在从"识别内容"走向"判断内容是否可信"。在银行、保险、贷款、电商、供应链、企业开户等场景中，"内容可信度"本身正在成为一种重要的 AI 能力。
2026-09-27 14:43:20
522
原创 不重写老系统，怎么给 Legacy Software 加上 AI？
企业面对老旧系统难重写、AI又必须落地的困境，关键在于“不重写”，而是通过AI Overlay（外挂层） 在不改动Legacy System的前提下，叠加智能能力。核心思路是：以AI Agent为中枢，通过Adapter或RPA连接旧系统，实现查询、分析、推荐、自动化操作。结合RAG与Tool Calling，让LLM调用真实业务数据与工具，而非“凭空生成”。同时建立分层权限机制，确保读取与修改分离，保障安全。最终形成“老系统+新智能”的协同架构，低成本、低风险地实现智能化升级。
2026-09-26 17:56:39
298
原创 GPU明明只有5%利用率，为什么AI任务还在排队？
GPU利用率仅5%却任务排队，根源在于“利用率≠可用性”。Kubernetes关注的是资源是否被分配，而非算力使用率。真正瓶颈常为：GPU被整卡独占、显存已满、调度约束不满足或应用层瓶颈（如数据传输慢）。解决需按“分配→显存→放置→应用”顺序排查，优先启用MIG/MPS实现多任务共享，而非盲目扩容。
2026-09-26 13:46:00
463
原创 Agent开始进入企业组织：27,000名员工背后，Salesforce想让AI成为“数字同事”
Salesforce 推出 Agentforce Coworker，将AI从“聊天机器人”升级为企业的“数字同事”。在Adecco全球2.7万名员工中，该系统通过统一数据层（Data 360），让AI不仅能理解自然语言、跨系统查询信息，还能协调专业Agent执行任务，如提交请假、更新客户信息等。这标志着企业AI正从“信息检索”迈向“任务执行”，成为连接员工与业务系统的智能操作入口，真正实现“AI协同工作”。
2026-09-21 22:46:03
311
原创 第5章 GPTQ 实战：如何把 Hugging Face 模型量化成 4-bit
本章详解GPTQ量化技术，聚焦如何将Hugging Face模型高效压缩至4-bit。GPTQ作为后训练量化方法，通过校准数据（Calibration Dataset）捕捉输入分布，利用近似二阶信息（Hessian）评估权重敏感度，最小化输出重构误差 $ |WX - W_qX|^2 $，实现精准误差补偿。相比简单四舍五入，GPTQ能显著降低精度损失，尤其适合4-bit场景。实战中需合理选择校准数据、配置Group-wise量化与参数，最终在保持模型性能前提下大幅减少存储与显存占用。
2026-09-18 23:01:25
358
原创 第4章 LLM 4-bit 量化实战：LLM 4-bit 量化到底意味着什么？
前面第1章和第2章，我们已经回答了两个基础问题：因为模型参数越来越大，FP16/BF16 权重会占用大量显存和存储空间。ContinuousValue→DiscreteValue并通过：xqroundxs将高精度浮点数映射到低比特整数表示。PostTrainingQuantization即模型训练完成以后再进行量化。4−bit到底意味着什么？为什么从：FP。
2026-09-18 16:19:51
678
原创 三星把 Mistral AI 搬进晶圆厂——一文看懂 AI 如何进入半导体制造
三星使用 Mistral AI 模型制造芯片”的新闻。第一阶段，我们让 AI “会说话”。第二阶段，我们让 AI “会理解”。第三阶段，我们让 AI “会预测”。让 AI 参与真实世界的决策。这也是为什么未来真正值得关注的 AI，不一定只是参数更大的模型。模型如何连接数据，如何连接专业知识，如何连接优化算法，以及最终如何连接真实世界的生产系统。三星把 Mistral AI 放进半导体制造体系，本质上就是这样一个案例。AI 的终点并不是聊天窗口。
2026-09-16 23:21:53
234
原创 第3章 PTQ：不用重新训练也能量化 LLM
先看最简单的过程：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;原始训练PTQ部署模型已经训练完成，量化是在训练结束之后进行的。
2026-09-16 20:00:00
586
原创 第2章 什么是量化？用 3 个数字算懂 INT8
因为模型参数越来越多，FP16、BF16 等高精度表示会带来巨大的存储和显存压力。例如一个 7B 模型7B×2Bytes≈14GB，降到 INT8 约 7GB，降到 INT4 约 3.5GB。例如有一个模型参数x1.273，我们希望把它变成一个 8-bit 的整数。难道直接1.273→1就可以了吗？当然不行。那么大量原本不同的浮点数都会被压缩成同一个整数，信息损失会非常严重。因此，真正的量化不是简单地"Float → Int"，而是：fill:#333;important;
2026-09-15 22:31:47
740
原创 第1章 为什么 LLM 一定会走向量化？
这里的7B7B7B表示7B7×1097B7×109，即大约70 亿个参数。模型规模参数数量1B10 亿3B30 亿7B70 亿13B130 亿70B700 亿B 指 Billion，即十亿。因此，7B 并不是"模型文件大小为 7GB"，它只是表示模型中大约有 70 亿个可学习参数。每个参数使用多少 bit 来存储。一个参数到底占多少字节？Quantization（量化），就是把高精度数值表示映射到更低比特的离散数值表示。例如原始模型参数x。
2026-09-15 21:48:45
530
原创 AI开始进入CNC加工——CloudNC如何用AI从CAD模型走向机床 2/2
CloudNC 获得 2000 万美元融资当然是新闻本身。但从技术角度，更值得关注的是它代表了一条非常明确的路线：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;CAD工程师CAMCNC正在逐渐变成：fill:#333;important;important;fill:none;color:#333;color:#333;
2026-09-15 13:11:02
274
原创 AI开始进入CNC加工——CloudNC如何用AI从CAD模型走向机床 1/2
让程序员可以逐步查看和控制 AI 的加工策略决策。其官方介绍强调，工程师可以在刀路发送回 GibbsCAM 等 CAM 软件之前，对 AI 建议进行检查和控制。CloudNC 官方也明确强调 CAM Assist 的设计目标是让人保持对加工过程的控制，而不是简单地把工程师从流程中拿掉。而这，正是下面要讲的 Physical AI 真正有意思的地方。的应用，同时推动新的 AI 产品，包括面向加工报价和估算的。这正是理解制造业 AI 的关键。，计划进一步扩大其 AI 精密加工技术在全球供应链中的应用。
2026-09-15 13:09:14
119
原创 Transformer与大语言模型：第19章 RAG（Retrieval-Augmented Generation）
本章系统讲解RAG（检索增强生成）技术，涵盖从文档分块、向量化存储到检索生成的全流程。重点剖析Chunking策略对效果的关键影响，强调语义切分与变长分块的优势，指出其在连贯文本中易超限的缺陷，并提出结合最大长度限制与LLM智能切分的优化方案。通过向量检索、重排序及Prompt工程，实现精准问答，有效缓解大模型的知识截止与幻觉问题。最后介绍端到端评估体系，强调以下游任务效果为核心，控制变量进行科学验证。
2026-09-12 22:50:48
270
原创 第18章 向量数据库
本章介绍向量数据库的核心原理与关键技术。针对海量向量相似度搜索的效率问题，引入近似最近邻（ANN）算法，重点讲解HNSW（分层导航小世界图）、IVF（倒排文件索引）和PQ（产品量化）等主流索引方法。HNSW通过多层稀疏至密集的图结构实现高效粗粒度到细粒度导航；IVF基于聚类缩小搜索范围；PQ则通过分段量化大幅压缩存储。结合FAISS、Chroma等工具示例，展示如何在实际中构建高效向量检索系统，适用于文本、图像等语义搜索场景。
2026-09-11 23:53:10
368
原创 Transformer与大语言模型：第17章 Embedding Model
fill:#333;important;important;fill:none;架构双向Attention输出固定维度向量从Token到句子Mean Pooling 最常用Last-token Decoder用L2 归一化训练对比学习正负样本对温度参数 τ主流模型BGE 中文最强E5 微软GTE 阿里Jina 长文本应用语义搜索文本聚类RAG检索。
2026-09-11 15:16:26
141
原创 用 AI 重新计算物流：从路线预测走向实时决策计算
如果只把 MG Ship 理解成"一家物流公司推出了 AI 路线规划功能"，那么其实低估了这件事情。物流 AI 正在从预测系统向决策系统演进。过去 AI 说的是"这批货可能晚三天"。现在 AI 说的是：如果继续走当前路线，预计延误 3 天；如果切换路线 B，成本 +8% 但延误概率下降 23%；如果更换承运商 C，成本 +4% 但准时率提高 12%；综合成本、时效和风险后，推荐路线 B + 承运商 C。这才是真正有业务价值的 AI。因此未来我们理解 AI 基础设施时，不能只问"这个系统用了什么模型？
2026-09-10 22:18:31
315
原创 一文读懂传统搜索与 AI 搜索：从网页排名到答案生成，YouTube 53.1% 案例解析
一项研究揭示，Google AI Overview中YouTube视频被引用率达53.1%，远超传统权威医疗网站。这背后是搜索范式从“找网页”向“找答案”的转变：传统搜索依赖网页排名，而AI搜索通过多源信息检索、理解与融合，生成综合答案。关键差异在于，AI更关注信息的可引用性而非页面排名，导致内容来源多元化，甚至非传统权威平台也能脱颖而出。这一变化标志着搜索正从“文档召回”迈向“信息生成”，用户不再仅需点击阅读，而是依赖系统整合与验证。
2026-09-10 22:17:38
760
原创 从聊天机器人到 AI Companion：AI 如何进入人的长期关系
传统互联网产品是"用户 → App → 功能"的单向关系，而 AI 产品的箭头已经变成双向，并进一步延伸出记忆、上下文、个性化：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;用户AIMemoryContext。
2026-09-09 15:31:45
116
原创 M&T Bank 如何把 AI 真正部署到 15000 多名员工：企业 AI 落地的关键不是模型，而是基础设施
现在很多 AI Agent 的宣传是"Agent 自主思考 → 自主调用工具 → 自主执行"。但银行不能简单采用这种模式，而更可能采用一条带治理关卡的链路：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;AI AgentRisk CheckExecution因此企业 Agent 真正落地之后，很可能不是，而是。
2026-09-08 00:16:11
226
原创 Transformer与大语言模型：第16章 MoE：混合专家架构
fill:#333;important;important;fill:none;MoE 混合专家核心思想一个FFN变多个FFNRouter动态选Top-K参数与计算解耦Routersoftmax打分Top-K选择加权求和工程难点负载均衡All-to-All通信现代设计代价显存不省系统复杂度高需要更多数据。
2026-09-07 23:36:22
396
原创 Transformer与大语言模型：第15章 Qwen、Llama、DeepSeek：现代 LLM 的技术细节
自回归生成时，每次生成新 Token 都需要计算所有历史 Token 的 K 和 V。生成第 n 个 Token 时，需要重新计算前 n-1 个 Token 的 K 和 V时间复杂度：O(N²)缓存前 n-1 个 Token 的 K 和 V生成第 n 个 Token 时，只需计算新 Token 的 K 和 V时间复杂度：O(N)fill:#333;important;important;fill:none;现代LLM技术RoPE相对位置编码支持长序列GQA减少KV Cache。
2026-09-07 23:07:23
282
原创 NVIDIA 为什么花 129.3 亿美元收购 Hugging Face？真正买下的不是模型，而是 AI 生态入口
为什么 NVIDIA 愿意花 129.3 亿美元收购 Hugging Face？不是因为 Hugging Face 有几个热门模型，也不是因为 NVIDIA 缺少模型。Hugging Face 掌握了 AI 开发者、模型、数据和应用之间的连接关系。而 NVIDIA 掌握的是 AI 计算基础设施。两者结合之后：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;
2026-09-06 11:15:03
225
原创 GPU 不只是跑 AI 模型：NVIDIA 如何用“决策计算“优化最后一公里？
先把问题简单化。假设有订单 A~E 和车辆 1~3，系统需要决定每辆车送哪些订单、走什么顺序：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;车辆 1订单 A订单 C订单 E车辆 2订单 B车辆 3订单 D车辆容量：车辆最大容量 1000kg，若 A=400kg、B=300kg、C=500kg，就不能全部分给同一辆车。时间窗口。
2026-09-06 10:06:22
201
原创 MIT 与 Motional 让自动驾驶“说清楚为什么刹车“：CW-Net 如何打开自动驾驶 AI 黑盒？
自动驾驶最大的挑战已经不只是"汽车能不能自己开？"，而是"汽车能不能在复杂环境中稳定、安全、可预测地自己开？"而"可预测"又要求一整条链路：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;AI 理解世界AI 做出决策AI 能够解释决策人类理解 AI人类预测 AI人机安全协作CW-Net 最有价值的地方就在这里。
2026-09-03 16:37:13
634
原创 MCP 正在成为 AI 新的攻击面：当大模型开始调用工具，安全边界发生了什么变化？
让 AI 能够以标准方式使用外部工具。但也正因为如此，它把 AI + Tool + Data + Permission 连接了起来。AI 终于开始真正拥有行动能力。fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;现在LLM理解意图选择 Tool调用 MCP访问数据修改系统完成任务以前LLM回答问题。
2026-09-03 15:45:21
485
原创 Amazon Prime Air 扩张至 500 个城市
传统 AI 主要处理文字、图片、声音、代码，而 Physical AI 要解决的是真实世界的感知与行动闭环。Prime Air 可以很好地体现这一点：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;真实世界摄像头/传感器AI 感知AI 决策飞控系统无人机动作Sense → Think → Act（感知 → 思考 → 行动）。
2026-09-02 09:51:05
250
原创 Transformer与大语言模型：第14章 GPT
fill:#333;important;important;fill:none;GPT架构无Cross-Attention预训练自回归大规模文本对话能力RLHFPrompt格式生成策略Greedy。
2026-09-02 09:00:00
273
原创 第13章 Decoder
本章详解Decoder的因果掩码（Causal Mask）机制，解释为何Decoder不能“偷看未来”——训练时若允许访问后续Token，推理时将失效。通过上三角掩码将未来位置Score置为-∞，确保Softmax后权重严格为0，实现仅关注当前及之前Token的自注意力。强调Mask仅修改Attention Score，不删除任何Token。结合Cross-Attention，Decoder在生成目标序列时融合源句信息，完成翻译任务。代码实现中使用加法而非乘法处理Mask，保证遮蔽效果。
2026-08-31 23:48:52
510
原创 AI 开始自动找漏洞了：OpenAI 警告企业必须加速 AI 安全防御
攻击者和防御者都在获得新的 AI 能力。如果攻击者开始使用 AI（自动发现 + 自动分析 + 自动执行），而防御者仍然依赖（人工扫描 + 人工分析 + 人工响应），那么传统安全体系很可能逐渐无法匹配新的攻击速度。因此，企业真正应该做的事情不是简单地"禁止 AI"，更合理的路线是：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;企业 AI 安全。
2026-08-31 20:43:34
453
原创 第12章 BERT：Transformer Encoder 如何成为语言理解模型
BERT 是一个基于 Transformer Encoder 的预训练语言表示模型。我们需要 BERT，是因为传统的静态词向量无法很好地表示同一个词在不同上下文中的不同含义。BERT 通过双向 Self-Attention，让每个 Token 可以利用整个上下文，从而得到。这些表示可以进一步用于文本分类、NER、问答、Embedding、语义搜索，并可以进一步发展到 Embedding → Retrieval → RAG。
2026-08-31 09:00:00
259
原创 NVIDIA 与 Google 联手降低 AI 推理成本
从这篇新闻可以看到，AI 的下一阶段竞争已经不只是模型参数和 benchmark。真正决定 AI 能否规模化落地的，是一整套基础设施：模型 → 计算 → 网络 → 调度 → 安全 → 云基础设施 → 大规模部署。NVIDIA 和 Google 此次公布的方案，本质上就是围绕这条链路进行协同设计：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;
2026-08-30 21:17:05
517
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人