LlmCraft｜大模型工程实践-优快云博客

原创 MoE路由机制详解_优快云文章

专家（Experts）：模型里的多个"专业部门"，各怀绝技；路由器（Router）：给每个 token 派活的"调度中心"；Top-K：每次只派少数专家干活，其余静默；效果：总参数量大（知识多）、激活参数少（算得少），于是又大又便宜。MoE = 大而全的参数 + 小而精的计算“这是总参数，还是激活参数？——答案往往就藏在 MoE 的路由机制里。

2026-09-18 19:40:42 400

高清图（FP32）：每个像素用 32 位浮点数表示，信息丰富，但文件大。模糊图（INT8）：每个像素只用 8 位整数表示，细节少了一些，但文件小、加载快。人眼（模型的精度）几乎察觉不到模糊带来的差异，但文件体积（存储）和加载速度（推理）改善巨大——量化就是这个思路。量化是模型压缩的技术之一，在对模型性能影响不大的情况下，尽可能减小模型参数的存储空间（float32 → qint8），最终提升推理速度。存储空间变小：FP32 每个参数占 4 字节，INT8 每个参数占 1 字节，理论上体积直接缩小。

2026-09-17 17:28:36 777

原创 NLP预处理Python内置函数_03_统计建词表与完整实战

第一篇：清洗与规范化——strip家族、replacere.sublowercasefoldnormalizezfill；第二篇：分词与过滤——splitjoinsplitlinesfindfilterlenisalpha家族、setmap；第三篇（本篇）：统计与建表——Countersortedenumeratezipordchrisinstanceencodedecode，外加完整实战模板。这些全部来自 Python 内置函数与标准库，零第三方依赖，是任何 NLP 项目的底座。掌握它们，再看。

2026-09-11 09:00:00 351

原创 NLP预处理Python内置函数_02_分词辅助与过滤筛选

上一篇我们把「文本清洗」和「文本规范化」讲透了（

2026-09-10 21:00:07 614 1

原创 NLP预处理Python内置函数_01_文本清洗与规范化

做 NLP（自然语言处理）的同学，无论你是做文本分类、情感分析、机器翻译还是大模型微调，第一关永远是。

2026-09-10 20:59:34 294

原创 2026 智能体落地元年：从“会说“到“会干“，Agent 商业化全景解读

2026 是智能体落地元年：DAA 取代 Token，Agent 成为产业主叙事数据两面看：IDC 预测 2030 年 22 亿活跃 Agent（增长），Gartner 警告 40% 项目被取消（泡沫）OpenAI 把 Agent 当作 5 年 1750 亿美元的第二增长曲线基础设施（运营商、平台、具身智能标准）正在就位可靠性、ROI、可控性是 2026 年最值钱的技能。

2026-09-09 13:00:26 1088

原创主流 Agent 开发框架横评：LangGraph、Dify、Coze 怎么选？

代码向框架（LangGraph 等）：灵活强大，适合工程师，学习成本高平台向框架（Dify、Coze）：开箱即用，适合快速落地，定制能力有限谁在用、要不要私有化、要多大自由度从零手写一个 ReAct Agent，不依赖任何框架，用 Python 把原理跑通，敬请期待！

2026-09-08 12:48:38 421

原创从零手写一个 ReAct Agent：Python 实战（附完整代码）

<think>我们根据内容生成摘要，要求≤150字。内容主要讲从零手写ReAct Agent，纯Python实现，包括环境准备、工具定义、提示词、解析、主循环、运行效果、优化方向。摘要需简洁概括。</think>本文演示用纯Python手写ReAct Agent，核心是“思考-行动-观察”循环：通过LLM输出解析工具调用，执行后回填结果，支持任意OpenAI兼容API。代码约100行，完整实现工具注册、安全执行与多步推理，并给出天气查询、计算器案例及流式输出等优化方向。

2026-09-08 12:47:40 345

原创英伟达 129.3 亿美元收购 Hugging Face：2026 年开源模型大洗牌

2026 年 9 月 4 日，就在 OpenAI 发布 GPT-6 Astra 的同一天，英伟达宣布以，被媒体称为"AI 开源生态史上最大资本事件"。而这只是 2026 年开源风暴的冰山一角：6 月初一周之内超过 25 个开源模型集体发布，7 月 Kimi K3 以 2.8 万亿参数成为全球最大开源模型……开源，正在以前所未有的速度重塑 AI 格局。这篇文章把 2026 年的"开源大事件"串起来，拆解背后的商业逻辑。

2026-09-07 13:05:45 522

原创 GPT-6 Astra 发布：从评测数据看“AGI 时代“的成色

2026 年 9 月 4 日，AI 行业迎来历史性时刻——，官方将其定义为"目前全球最智能、且对齐程度最高的模型"，并宣布在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业工作方面均达到当前最先进水平。同一周，Anthropic 发布 Claude Fable 5.1 / Claude Mythos 5.1，Google 发布 Gemini 3.8 Flash，Meta 发布 Muse Spark 1.3——"地球最强大模型"的王座在短短几天内多次易主。

2026-09-07 13:04:53 536

原创 KV Cache 深度解析：从一行时间戳引发的性能事故，到 Agent 上下文设计的缓存友好原则

普通 KV Cache 只在单次请求内部复用。跨请求复用相同前缀的 KV Cache。典型场景：所有请求共享同一个 System Prompt；多轮对话中，历史消息是相同的；RAG 系统中，检索到的相同文档片段被多次使用。vLLM、TensorRT-LLM、SGLang 等主流推理框架都支持 Prefix Cache。它的原理是对前缀 Token 做 Hash，命中后直接复用已计算好的 KV Block。

2026-09-06 14:44:37 403

原创【PyTorch NLP实战】从零实现 LSTM 酒店评论情感分析（附完整代码逐行讲解）

打开订酒店 App，每条评论后面都有个"好评/差评"标签。这个标签能不能让机器自动打？这就是情感分析（Sentiment Analysis）：输入一段自然语言文本，输出它的情感倾向。本文做的是最简单的二分类版本——好评(1) / 差评(0)。表格数据分类文本情感分类输入固定个数的数值特征一段有顺序的文字难点特征工程文字不能直接进网络；词序携带语义"房间很脏" 和 "脏很房间" 用的词完全一样，但只有前者是通顺的差评。这种顺序信息正是全连接网络处理不了、而 RNN/LSTM 擅长的。。

2026-09-06 06:00:00 1113

原创 09 大语言模型（LLM）演进与 Prompt 入门

走到这一篇，我们终于来到了 NLP 最火的前沿——大语言模型（Large Language Model, LLM）。2022 年底 ChatGPT 横空出世，5 天用户破百万，2 个月破亿，成为史上增长最快的应用。从那以后，"大模型""Prompt""Agent"这些词频繁出现在我们眼前。站在整个专栏的视角看：前 8 篇我们讲了 NLP 的基础（表示、序列模型、Transformer、预训练），这一篇我们将把这些知识"串"起来，理解 LLM 是怎么来的，以及普通人如何用Prompt（提示词）驾驭它。

2026-09-05 16:01:59 311

原创 08 预训练语言模型：BERT 与 GPT

上一篇我们学完了 Transformer——它只是一个大模型"地基"，本身并不能直接用于具体任务。要让 Transformer 真正"懂"语言，还需要在大量语料上进行预训练（Pre-training），然后针对具体任务微调（Fine-tuning）。BERT：Google 提出，主打"理解GPT：OpenAI 提出，主打"生成一句话结论：BERT 和 GPT 都采用"预训练 + 微调"范式，区别在于 BERT 双向编码擅长理解任务，GPT 单向生成擅长生成任务。

2026-09-05 15:56:17 468

原创 07 Transformer 架构详解

2017 年，Google 发表了一篇题为的论文，提出了架构。这篇论文当时可能没多少人意识到，它会在未来几年里彻底改变整个 AI 领域——不仅统治了 NLP，还延伸到视觉、语音、甚至科学计算。回顾一下我们的学习路径：从 RNN（记性差）→ LSTM（门控改善）→ 注意力机制（动态聚焦）。彻底抛弃 RNN，只用注意力机制来建模整个序列。一句话结论：Transformer 用"自注意力"替代 RNN，实现了完全并行、全局建模，是 BERT、GPT 乃至一切大语言模型的基石。

2026-09-05 09:00:00 453

原创 14. CI/CD 流水线中集成 Docker：GitHub Actions 自动构建部署

CI（持续集成）和CD（持续部署/交付）概念全称一句话解释CI代码一推送到仓库，自动跑测试、自动构建产物CD构建完自动部署到服务器，中间不用人插手代码提交 → 自动测试 → 自动构建镜像 → 自动推送 → 自动部署。整条链路无人值守，跑完线上就是最新的。

2026-09-04 13:01:21 753

原创 06 注意力机制与 Seq2Seq

上一篇我们讲了 RNN 和 LSTM。在处理"序列到序列"的任务（比如机器翻译：输入一句英文，输出一句中文）时，最经典的框架叫Seq2Seq。但最初的 Seq2Seq 有一个明显的短板，而解决这个短板的方案，就是影响至今的注意力机制（Attention Mechanism）。如果说 Transformer 是 NLP 的"皇冠"，那注意力机制就是皇冠上最亮的宝石。这一篇，我们把这两样东西一次讲透。

2026-09-04 13:00:54 659

原创 13. Docker 安全十个坑：从镜像扫描到运行时防护，一个都不能踩

services:# 前端应用——只暴露 80 端口frontend:ports:- "80:80"networks:- backend-net # 能访问后端# 后端 API——不暴露端口到宿主机backend:expose:- "8080" # 只在内部网络可见networks:# 数据库——只和后端网络通信mysql:expose:- "3306"networks:- backend-net # 只有 backend-net 能访问。

2026-09-03 15:35:39 597

原创 05 循环神经网络 RNN 与 LSTM 详解

前几篇我们学会了把单个词表示成向量。但语言是由一串有先后顺序的词组成的——"我吃饭"和"饭吃我"词相同、顺序不同，意思完全相反。也就是说，处理句子必须考虑顺序（序列）信息。上一节的 Word2Vec 是"静态的"，它把每个词当成独立个体，完全忽略了词在句子中的位置和上下文。那么，有没有一种模型天生就适合处理"序列"呢？循环神经网络（Recurrent Neural Network, RNN）和它的升级版LSTM。一句话结论：RNN 专门为"序列数据"设计，能记住前面的信息；

2026-09-03 15:34:11 641

原创 04 词向量 Word2Vec：让词变成向量

上一篇文章的最后我们留了一个问题：BoW 和 TF-IDF 都是稀疏离散表示，无法体现词与词之间的语义关系。比如"苹果"和"香蕉"在向量空间里毫无关联，因为它们从未在同一篇文档中共现。这一篇我们要介绍的Word2Vec，就是来解决这个问题的——它能把每个词变成一个低维、稠密、富含语义信息的向量，让语义相近的词在向量空间中"靠得很近"。一句话结论：Word2Vec 让机器"理解"了词与词之间的语义关系。One-Hot 的局限：高维稀疏、无语义分布式表示：低维稠密、语义相近的词距离更近CBOW。

2026-09-03 15:33:35 423

原创 02 文本预处理：从原始文本到干净语料

在上一篇我们说过，一个 NLP 项目的第一步就是文本预处理。很多初学者拿到数据就直接丢进模型，结果效果惨不忍睹——原因往往不在模型，而在"脏数据"。现实中的原始文本长什么样？可能有网页标签、表情符号、错别字、大小写混乱、多余标点……这些噪声会严重干扰模型学习。预处理的作用，就是把这些"垃圾"清洗干净，让模型真正"看到"有用的信息。一句话结论：预处理质量直接决定下游模型效果。文本清洗：去除 HTML、URL、多余符号等噪声中文分词：用 jieba 把句子切成词去除停用词：过滤"的、了、在"等虚词词形还原。

2026-09-02 13:24:16 272

原创 03 文本向量化：词袋模型与 TF-IDF

上一篇文章我们把文本清洗成了干净的词语序列，但计算机不认识"词"，只认识"数字"。如何把一段文本变成一个机器可以计算的向量？这个把文本转成数值向量的过程，就叫文本向量化（Text Vectorization），也叫文本表示（Text Representation）。它是连接"文本世界"和"数字世界"的桥梁，是整个 NLP 的基础设施。词袋模型（Bag of Words, BoW）和TF-IDF。词袋模型（BoW）：统计词频，简单直观，但忽略顺序和语义、虚词权重过高TF-IDF。

2026-09-02 13:23:42 428

原创 01-NLP入门-什么是自然语言处理

自然语言处理（Natural Language Processing, NLP）是让计算机能够"看懂"、"听懂"并"生成"人类语言的一门学科，它位于计算机科学、人工智能和语言学三者的交汇处。你可能每天都在和 NLP 打交道——搜索时输入关键词、用语音助手定闹钟、让翻译软件翻译一段英文、甚至现在读到的这篇文章背后的推荐系统，背后都离不开 NLP 技术。这篇文章是《NLP 教学专栏》的第一篇，我会带你建立一个完整的知识框架，为后续十篇文章的学习打下地基。

2026-09-01 13:14:50 299

原创 13. Docker 安全十个坑：从镜像扫描到运行时防护，一个都不能踩

services:# 前端应用——只暴露 80 端口frontend:ports:- "80:80"networks:- backend-net # 能访问后端# 后端 API——不暴露端口到宿主机backend:expose:- "8080" # 只在内部网络可见networks:# 数据库——只和后端网络通信mysql:expose:- "3306"networks:- backend-net # 只有 backend-net 能访问。

2026-09-01 13:12:47 490

原创 12. Docker 日志管理与监控：ELK 日志收集 + Prometheus 性能监控

需求推荐方案资源消耗单机开发调试零开销多台服务器日志集中查询ELK StackElasticsearch 至少 2GB 内存容器性能实时监控 + 告警Prometheus 按数据量，一般 512MB 起步生产环境完整方案ELK + Prometheus/Grafana 都上建议独立监控服务器本文要点回顾是最基础的日志查看工具，配合--tail-f--since高效排查问题日志轮转必须配置，否则磁盘迟早被撑爆，max-sizemax-file两条搞定ELK Stack。

2026-08-31 14:37:57 517

原创 11. 私有镜像仓库：Registry 与 Harbor 从入门到生产

你公司的 Java 微服务跑在 Docker 上，镜像越打越多，同事之间传来传去全靠 U 盘和微信——直到某天安全审计说了一句"你们代码怎么全推 Docker Hub 了？"，全场沉默。Docker Hub 是公开的，企业代码放上去等于裸奔。这时候，就是你的刚需。本文从零开始，手把手带你搭两套方案：轻量的 Registry 和重量级的 Harbor，推、拉、认证、漏洞扫描一次讲透。▲ 镜像在内网流转，速度快、安全可控、权限可管——这就是私有仓库的价值。

2026-08-31 09:04:04 600

原创 10. 多阶段构建：让镜像体积从 1GB 瘦到 50MB，部署快十倍

你有没有遇到过这种情况：好不容易把应用打包成镜像，一看体积——？推送到镜像仓库要等半天，拉取部署又要等半天，CI/CD 流水线慢得让人想砸键盘。更离谱的是，你的应用本身才几十 MB，剩下的全是"陪跑"的编译工具、临时缓存和基础发行版。这篇文章就教你用这把手术刀，把镜像里的"肥肉"一刀刀切掉，让它瘦成一道闪电。▲ 镜像变胖，往往是因为把整个"厨房"都搬上了桌；多阶段构建就是只把"成品菜"端过去。

2026-08-30 12:40:58 516

原创 09. 实战：Docker 部署一个完整 Web 应用（Nginx + Flask + MySQL + Redis）

学完这篇，你已经能用 Docker Compose 独立部署一个"前后端 + 数据库 + 缓存"的完整应用了。这在工作中是最常见的架构，拿去面试也不虚。

2026-08-30 12:38:57 699

原创手机价格多分类_全连接神经网络教程

数据集来自 Kaggle 经典的，共2000 行 × 21 列，即 20 个特征 + 1 个目标变量。分类 vs 回归：多分类任务要用+ 输出维度等于类别数，标签用整数；不要用MSELoss（那是回归）。输出层激活内置softmax，输出层无需手动加激活函数。标准化：特征量纲差异大时必须标准化，且fit只能用训练集。分层抽样stratify=y保证类别均衡划分。模型保存/加载保存，加载，加载前要先重建同结构网络。评估模式：推理时。路径自适应：用定位文件目录，避免相对路径依赖运行位置。

2026-08-29 13:32:05 545

原创 08. Docker Compose 一键编排：多容器应用的指挥家

▲ Compose 就像交响乐团的指挥：一份总谱（docker-compose.yml），一挥棒所有容器同时就位。先说结论：Docker Compose 是一个多容器编排工具，用 YAML 文件定义你的所有服务（容器），然后一条命令把它们全部启动、停止、重建。打个比方：一句话：Compose 把你的"启动脚本"变成了"声明式配置"，可复用、可分享、可版本控制。这是很多新手踩的第一个坑，Docker Compose 有两个版本：确认一下你的环境有没有 Compose v2：docker compose ve

2026-08-29 08:16:00 749

空空如也

空空如也