<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[AI服务生活]]></title><description><![CDATA[拥抱AI，了解AI，使用AI。]]></description><link>https://blog.youkuaiyun.com/richard_first</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; richard_first]]></copyright><item><title><![CDATA[新书预告 从《Transformer与大语言模型》到《LLM量化实战》]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/170284970</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/170284970</guid><author>richard_first</author><pubDate>Sun, 08 Nov 2026 11:07:08 +0800</pubDate><description><![CDATA[《Transformer 与大语言模型》完结，新系列《LLM 量化实战》启动。上一本解析“为什么”设计大模型，本册聚焦“怎么”让模型变小变快——从FP16到4-bit量化，详解GPTQ、AWQ、QLoRA、GGUF等技术，结合RTX 4090实测，手把手教你压缩模型、降低显存、部署推理。适合想在8GB~24GB显存设备上运行7B/70B模型的开发者与工程师。原理+实战双线并进，只写真实跑通的结果。]]></description><category></category></item><item><title><![CDATA[第22章 实现一个完整的 RAG 系统(终章)]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/170245394</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/170245394</guid><author>richard_first</author><pubDate>Sat, 07 Nov 2026 18:16:56 +0800</pubDate><description><![CDATA[本章构建了一个完整的本地RAG系统，集成BGE嵌入、Chroma向量库、BM25与RRF混合检索、BGE重排序器及Qwen2.5-7B-Instruct生成模型。通过结构化分块、增量索引、带引用的Prompt设计与拒答机制，实现精准问答。基于Recall@K与MRR量化评估各组件贡献，实测在RTX 4090上完成端到端推理，兼顾性能与可解释性，具备生产可用性。]]></description><category></category></item><item><title><![CDATA[第21章 从零训练一个简单的 GPT（PyTorch)]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/169653227</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/169653227</guid><author>richard_first</author><pubDate>Sat, 31 Oct 2026 22:50:36 +0800</pubDate><description><![CDATA[本章在莎士比亚文本上从零训练一个1077万参数的字符级GPT，采用Decoder-only结构，结合SDPA、bf16精度与torch.compile，在RTX 4090上90秒完成训练。通过早停缓解过拟合，实现Temperature与Top-k采样，并亲手构建KV Cache验证其生成一致性及加速效果，揭示其在长序列推理中真正发挥作用的条件。]]></description><category></category></item><item><title><![CDATA[第20章 从零实现 Transformer（PyTorch）]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/168775264</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/168775264</guid><author>richard_first</author><pubDate>Thu, 22 Oct 2026 23:37:52 +0800</pubDate><description><![CDATA[本章从零实现Transformer模型，不依赖PyTorch内置模块。通过序列翻转任务（输入数字倒序输出）验证各组件：Embedding与位置编码、Multi-Head Attention、Feed-Forward Network、Encoder/Decoder结构及三种Mask机制。使用RTX 4090仅17秒训练至99.6%准确率，可视化Cross-Attention对齐矩阵，揭示模型学习过程。实验对比手写Attention与SDPA性能差异，并定位Hugging Face源码，总结常见坑点，实现代码全]]></description><category></category></item><item><title><![CDATA[第1章 机器学习到底在学什么？]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/168648649</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/168648649</guid><author>richard_first</author><pubDate>Wed, 21 Oct 2026 12:57:12 +0800</pubDate><description><![CDATA[本章通过房产估价案例，揭示机器学习的本质：从历史数据中自动学习规律。核心是将经验转化为数学模型（如价格与面积成正比），并通过参数（如每平米单价）来体现具体规律。学习过程即通过损失函数衡量预测误差，再用优化方法寻找最优参数。最终实现“训练—推理”闭环，回答了“机器到底学到了什么”这一根本问题，引出模型、损失、优化三大要素框架。]]></description><category></category></item><item><title><![CDATA[装个 llmcompressor 把我 torch 升崩了：一次不碰系统 CUDA 的环境自救实录]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/167284187</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/167284187</guid><author>richard_first</author><pubDate>Thu, 08 Oct 2026 23:26:11 +0800</pubDate><description><![CDATA[本文记录一次在不破坏系统CUDA的前提下，通过dry-run分析、版本比对与依赖推理，成功规避llmcompressor强制升级torch/transformers的陷阱。核心发现：仅0.11.0版本兼容现有4.56.2版transformers，但需升级torch；关键认知突破——pip安装仅影响venv内CUDA runtime，系统驱动不受影响。最终确认驱动上限为12.9，故必须使用+cu126而非默认+cu13的wheel，成功实现环境自救。]]></description><category></category></item><item><title><![CDATA[第19章 RAG（Retrieval-Augmented Generation）]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166851145</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166851145</guid><author>richard_first</author><pubDate>Wed, 30 Sep 2026 20:00:00 +0800</pubDate><description><![CDATA[fill:#333;important;important;fill:none;RAG离线建库文档解析Chunking分块Embedding向量化存入向量数据库在线检索向量检索Top-KReranker重排序生成构建PromptLLM生成基于文档回答让 LLM 基于可信的外部知识回答问题，减少幻觉，支持知识更新。]]></description><category></category></item><item><title><![CDATA[多智能体AI正在接管供应链：从“AI给建议”到“AI直接执行”]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166893637</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166893637</guid><author>richard_first</author><pubDate>Wed, 30 Sep 2026 11:26:46 +0800</pubDate><description><![CDATA[多智能体AI正推动供应链从“预测”迈向“执行”时代。通过需求、库存、采购、物流、风险等专业Agent协同，结合Supervisor统一决策，并直接对接ERP/WMS/TMS系统，实现问题发现到执行的闭环。案例显示，决策速度提升3倍，交付准确率提高30%。核心价值在于“受控自治”：低风险自动执行，高风险人工审批，设置财务与运营阈值作为保险丝。尽管面临供应商非标准化等挑战，但企业正逐步将Agent嵌入真实供应链，开启高效、敏捷的智能运营新范式。]]></description><category></category></item><item><title><![CDATA[AI Agent 正在成为恶意软件的新分发渠道？——从 FakeGit 看 AI 时代的软件供应链攻击]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166736933</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166736933</guid><author>richard_first</author><pubDate>Sun, 27 Sep 2026 15:32:18 +0800</pubDate><description><![CDATA[AI Agent正成为恶意软件新分发渠道，攻击者通过伪造GitHub项目（如FakeGit）利用AI推荐机制传播恶意软件。传统攻击依赖欺骗用户，而今攻击者转向“AgentBaiting”——通过优化项目可信度（Stars、Downloads、文档）诱导AI推荐恶意MCP工具，实现间接提示注入与工具投毒。由于AI Agent具备访问私密数据、处理不可信内容并对外通信的能力，一旦被操控即引发严重安全风险。这标志着软件供应链已扩展至AI信任链，安全验证需从静态检查转向持续信任评估。]]></description><category></category></item><item><title><![CDATA[AI是怎么识别假证件的？从OCR到文档取证，一文看懂AI文档反欺诈]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166736338</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166736338</guid><author>richard_first</author><pubDate>Sun, 27 Sep 2026 14:43:20 +0800</pubDate><description><![CDATA[如果只看这篇新闻，你可能觉得"原来有 7 家公司在做 AI 文档验证"。文档欺诈正在从传统图像造假，进入 AI 生成、数字取证和欺诈网络分析阶段。过去我们只问"这张图有没有 P 过"，现在要问一连串问题：文件是否被修改过？是不是 AI 生成的？和历史文件、其他申请有没有关联？里面的数字是否符合业务逻辑？是不是欺诈团伙的一部分？。AI 正在从"识别内容"走向"判断内容是否可信"。在银行、保险、贷款、电商、供应链、企业开户等场景中，"内容可信度"本身正在成为一种重要的 AI 能力。]]></description><category></category></item><item><title><![CDATA[不重写老系统，怎么给 Legacy Software 加上 AI？]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166691156</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166691156</guid><author>richard_first</author><pubDate>Sat, 26 Sep 2026 17:56:39 +0800</pubDate><description><![CDATA[企业面对老旧系统难重写、AI又必须落地的困境，关键在于“不重写”，而是通过AI Overlay（外挂层） 在不改动Legacy System的前提下，叠加智能能力。核心思路是：以AI Agent为中枢，通过Adapter或RPA连接旧系统，实现查询、分析、推荐、自动化操作。结合RAG与Tool Calling，让LLM调用真实业务数据与工具，而非“凭空生成”。同时建立分层权限机制，确保读取与修改分离，保障安全。最终形成“老系统+新智能”的协同架构，低成本、低风险地实现智能化升级。]]></description><category></category></item><item><title><![CDATA[GPU明明只有5%利用率，为什么AI任务还在排队？]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166689180</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166689180</guid><author>richard_first</author><pubDate>Sat, 26 Sep 2026 13:46:00 +0800</pubDate><description><![CDATA[GPU利用率仅5%却任务排队，根源在于“利用率≠可用性”。Kubernetes关注的是资源是否被分配，而非算力使用率。真正瓶颈常为：GPU被整卡独占、显存已满、调度约束不满足或应用层瓶颈（如数据传输慢）。解决需按“分配→显存→放置→应用”顺序排查，优先启用MIG/MPS实现多任务共享，而非盲目扩容。]]></description><category></category></item><item><title><![CDATA[Agent开始进入企业组织：27,000名员工背后，Salesforce想让AI成为“数字同事”]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/166256432</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/166256432</guid><author>richard_first</author><pubDate>Mon, 21 Sep 2026 22:46:03 +0800</pubDate><description><![CDATA[Salesforce 推出 Agentforce Coworker，将AI从“聊天机器人”升级为企业的“数字同事”。在Adecco全球2.7万名员工中，该系统通过统一数据层（Data 360），让AI不仅能理解自然语言、跨系统查询信息，还能协调专业Agent执行任务，如提交请假、更新客户信息等。这标志着企业AI正从“信息检索”迈向“任务执行”，成为连接员工与业务系统的智能操作入口，真正实现“AI协同工作”。]]></description><category></category></item><item><title><![CDATA[第5章 GPTQ 实战：如何把 Hugging Face 模型量化成 4-bit]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165891538</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165891538</guid><author>richard_first</author><pubDate>Fri, 18 Sep 2026 23:01:25 +0800</pubDate><description><![CDATA[本章详解GPTQ量化技术，聚焦如何将Hugging Face模型高效压缩至4-bit。GPTQ作为后训练量化方法，通过校准数据（Calibration Dataset）捕捉输入分布，利用近似二阶信息（Hessian）评估权重敏感度，最小化输出重构误差 $ |WX - W_qX|^2 $，实现精准误差补偿。相比简单四舍五入，GPTQ能显著降低精度损失，尤其适合4-bit场景。实战中需合理选择校准数据、配置Group-wise量化与参数，最终在保持模型性能前提下大幅减少存储与显存占用。]]></description><category></category></item><item><title><![CDATA[第4章 LLM 4-bit 量化实战：LLM 4-bit 量化到底意味着什么？]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165884180</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165884180</guid><author>richard_first</author><pubDate>Fri, 18 Sep 2026 16:19:51 +0800</pubDate><description><![CDATA[前面第1章和第2章，我们已经回答了两个基础问题：因为模型参数越来越大，FP16/BF16 权重会占用大量显存和存储空间。ContinuousValue→DiscreteValue​并通过：xq​roundxs将高精度浮点数映射到低比特整数表示。PostTrainingQuantization​即模型训练完成以后再进行量化。4−bit​到底意味着什么？为什么从：FP。]]></description><category></category></item><item><title><![CDATA[三星把 Mistral AI 搬进晶圆厂——一文看懂 AI 如何进入半导体制造]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165632034</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165632034</guid><author>richard_first</author><pubDate>Wed, 16 Sep 2026 23:21:53 +0800</pubDate><description><![CDATA[三星使用 Mistral AI 模型制造芯片”的新闻。第一阶段，我们让 AI “会说话”。第二阶段，我们让 AI “会理解”。第三阶段，我们让 AI “会预测”。让 AI 参与真实世界的决策。这也是为什么未来真正值得关注的 AI，不一定只是参数更大的模型。模型如何连接数据，如何连接专业知识，如何连接优化算法，以及最终如何连接真实世界的生产系统。三星把 Mistral AI 放进半导体制造体系，本质上就是这样一个案例。AI 的终点并不是聊天窗口。]]></description><category></category></item><item><title><![CDATA[第3章 PTQ：不用重新训练也能量化 LLM]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165492986</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165492986</guid><author>richard_first</author><pubDate>Wed, 16 Sep 2026 20:00:00 +0800</pubDate><description><![CDATA[先看最简单的过程：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;原始训练PTQ部署模型已经训练完成，量化是在训练结束之后进行的。]]></description><category></category></item><item><title><![CDATA[第2章 什么是量化？用 3 个数字算懂 INT8]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165491824</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165491824</guid><author>richard_first</author><pubDate>Tue, 15 Sep 2026 22:31:47 +0800</pubDate><description><![CDATA[因为模型参数越来越多，FP16、BF16 等高精度表示会带来巨大的存储和显存压力。例如一个 7B 模型7B×2Bytes≈14GB，降到 INT8 约 7GB，降到 INT4 约 3.5GB。例如有一个模型参数x1.273，我们希望把它变成一个 8-bit 的整数。难道直接1.273→1就可以了吗？当然不行。那么大量原本不同的浮点数都会被压缩成同一个整数，信息损失会非常严重。因此，真正的量化不是简单地"Float → Int"，而是：fill:#333;important;]]></description><category></category></item><item><title><![CDATA[第1章 为什么 LLM 一定会走向量化？]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165490706</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165490706</guid><author>richard_first</author><pubDate>Tue, 15 Sep 2026 21:48:45 +0800</pubDate><description><![CDATA[这里的7B7B7B表示7B7×1097B7×109，即大约70 亿个参数。模型规模参数数量1B10 亿3B30 亿7B70 亿13B130 亿70B700 亿B 指 Billion，即十亿。因此，7B 并不是"模型文件大小为 7GB"，它只是表示模型中大约有 70 亿个可学习参数。每个参数使用多少 bit 来存储。一个参数到底占多少字节？Quantization（量化），就是把高精度数值表示映射到更低比特的离散数值表示。例如原始模型参数x。]]></description><category></category></item><item><title><![CDATA[AI开始进入CNC加工——CloudNC如何用AI从CAD模型走向机床 2/2]]></title><link>https://blog.youkuaiyun.com/richard_first/article/details/165468323</link><guid>https://blog.youkuaiyun.com/richard_first/article/details/165468323</guid><author>richard_first</author><pubDate>Tue, 15 Sep 2026 13:11:02 +0800</pubDate><description><![CDATA[CloudNC 获得 2000 万美元融资当然是新闻本身。但从技术角度，更值得关注的是它代表了一条非常明确的路线：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;CAD工程师CAMCNC正在逐渐变成：fill:#333;important;important;fill:none;color:#333;color:#333;]]></description><category></category></item></channel></rss>