- 博客(185)
- 收藏
- 关注
RSS订阅原创 大模型：从「语言能力」到「系统能力」的演化，你需要补上的那块认知拼图
理解模型的底层推理方式（空间推理，而不是知识检索）把模型融入业务流程，而不是拿来问问题在架构中明确“模型 vs 人 vs 工具”的分工如果你能做到这三件事，你会发现：你的迭代速度会快得惊人你的系统复杂度会被模型吸收你的个人生产力会被无限放大而这，就是大模型正在带来的真正革命。
2025-11-25 07:00:00
1
原创 卷积：它不是公式，它是模型看世界的方式
有时你可能会遇到这样的瞬间：模型在识别一张图片、分辨一段语音或提取特征时，总像是“突然就懂了”。而当你深入代码，发现那行看似无害的conv2d我第一次意识到卷积的重要性，是在调试一个简单的边缘检测 Demo。当时我还天真地以为卷积就是“滑一下、乘一下、加一下”。这一刻，我意识到卷积不是数学概念，而是一个思考方式。接下来，我想带你一起走一遍卷积“看世界”的方式，用类比、可视化、伪代码与 NumPy 实验，把它从抽象公式变成你能“感觉到”的东西。
2025-11-24 21:36:02
3
原创 PyTorch：写给每一个想真正吃透深度学习的人
很多人第一次写深度学习模型时都会经历同一个瞬间：代码能跑，但你根本不知道它「为什么能跑」。尤其在使用 PyTorch 的时候，你会觉得它既顺手又神秘——张量能随意在 GPU 上飞来飞去，自动求导像魔法一样，网络结构像乐高随便拼就是一个 SOTA baseline。但如果你想从“能跑”走向“理解”，你得真正知道 PyTorch 在做什么。今天这篇文章，我会带你一次性把 PyTorch 的核心原理、心智模型与可复现实操全部讲清楚。整个过程不堆概念、不摆公式，而是让你像拆一个发动机一样，看懂每一颗螺丝的意义。H
2025-11-24 21:04:34
2
原创 比较三大新范式：OpenAI Swarm / Claude Artifacts / LangGraph
来自 OpenAI 的开源/实验型框架，名为Swarm。其 github 页面指出：这是一个 “实验性的、教育用的”框架，用于构建多智能体协作系统。每个 Agent 有 instructions + functions；可以将对话或任务“移交”给另一个 Agent。Medium其定位并非“企业级全功能生产平台”，而更像 “学习 & 快速原型” 的入口。Composio。
2025-11-24 16:59:03
17
原创 R1、A2A、Self-Rewarding：2025 自进化大模型的技术断层正在形成
如果 A2A 是“自生成训练样本”，那么 Self-Rewarding 就是“自生成奖励信号”。它的核心思想是：奖励信号不是由人类或外部模型提供，而是由模型自身的结构、逻辑和知识体系推断出来。占位图：Self-Rewarding 奖励生成流程（Google 搜索：self rewarding llm diagram）① 自一致性（Self-Consistency）多次推理，取稳定一致的结果作为奖励。② 规则奖励（Rule-Based Reward）
2025-11-24 16:57:02
4
原创 快速理解：对称加密、非对称加密
│ 客户端（浏览器） │。│ 明文数据 → AES 加密 → 密文 → 网络 → AES 解密 → 明文 │。│ 3. 客户端随机生成一个 AES 密钥（对称密钥）│ 客户端生成：AES_KEY（用来真正加速传大数据） │。│ 双方开始用 AES_KEY 对所有数据进行高速加密传输 │。│ 服务器（网站） │。│ 服务器（网站） │。
2025-11-21 11:25:28
18
原创 AES 加解密 IV 的意义
模式是否需要 IV是否安全是否泄露结构是否适合生产ECB❌ 不需要❌ 不安全✔ 会泄露结构❌ 禁用CBC✔ 需要✔ 安全❌ 不泄露结构✔ 推荐✔ 需要✔ 安全❌ 不泄露结构✔ 推荐所以：IV 不是用来解密的，是用来“隐藏模式”的。
2025-11-21 11:19:31
15
原创 RLHF → RLAIF → 自动偏好学习：大模型对齐技术的三次演化
无论是在企业项目中，还是在智能体（Agent）系统里，你都能感受到这种漂移：模型有时过度“自信”，有时过度“安全”，有时又出现幻觉，一旦进入复杂语境，行为更像是一块难以琢磨的黑石头。不是概念罗列，而是让你看懂“为什么演化”“怎么演化”“对你做的 AI 应用意味着什么”。真正让模型从“能说”到“说得对”“说得稳”“说得负责任”，靠的不是堆显卡，而是——偏好不再是“回答好不好”，而是“模型执行工具、检索、行动序列是否合理”。如果说 RLHF 是“人教模型”，RLAIF 是“强模型教弱模型”，
2025-11-20 07:00:00
429
原创 Context Engineering 精密上下文工程：从提示词到动态上下文管线
在适当的时间为模型提供适当的信息，并以结构化方式管理模型推理所需的全部信息环境的一套方法论。它包含以下内容：业务规则（规则层）历史对话（记忆层）系统设定（角色层）知识库（知识层）工具调用结果（工具层）用户输入（用户层）中间推理状态（链路层）搜索 / 数据库 / API 返回内容（外部信息层）执行轨迹（状态层）结果校验（审查层）如果你仔细看这些层，会发现它像极了现代操作系统的结构。这不是巧合。LLM 其实是“单线程 CPU + 巨大缓存 + 弱内存”，
2025-11-19 07:00:00
447
原创 长上下文技术的底层逻辑：Attention、压缩、缓存与跨页推理
如果把模型的参数视为“固化智能”，动态智能（Dynamic Intelligence）——模型不必依赖训练时的记忆，而是可以随时调用外部信息。这一点正在改变大模型的范式：Prompt 不再是输入，而是“操作系统事件”文档不再是知识，而是“模型的临时记忆”模型不再是一段神经网络，而是一个“具备阅读循环的推理引擎”当我们把上下文从 128K 拉到百万级，我们做的不是扩容，而是让模型第一次拥有阅读、回溯、定位、跨页分析的能力。这是一种新的智能。
2025-11-18 07:00:00
821
原创 Embedding 的本质：为什么你的知识库 RAG 不准？
RAG（检索增强生成）效果不佳的核心原因往往在于Embedding（向量编码）未能正确理解业务内容。Embedding的本质是将语义投影到特定结构的向量空间，而非真正理解文本。当模型训练数据分布与业务领域不匹配时，就会出现语义距离错乱，导致召回错误。优化RAG效果的关键在于：1）合理切分Chunk以保持语义完整；2）选择适配业务的Embedding模型；3）采用重排序等增强技术；4）构建父子向量结构处理长文档；5）进行术语扩展；6）使用混合检索方法。真正的挑战不是堆积文档，而是构建与业务对齐的语义空间。
2025-11-18 07:00:00
1775
原创 MCP（Model Context Protocol）如何把模型变成“操作系统插件”？
过去一年，越来越多开发者开始意识到一个奇怪现象：大模型越来越强，但却越来越“难接入”。一个模型能写代码、能规划流程、能分析文件，可当你真正把它用到项目里，却发现它像一个高智商但不懂规矩的外包工程师——什么都能干，却没有明确接口，不知道该什么时候读资源、什么时候调用工具、什么时候结束推理，更像是一个“悬浮在云端的智能体”。这种“不落地的问题”，几乎横在所有智能体应用之前。这一刻，智能体从“单点推理”开始走向“系统化协作”。
2025-11-17 14:22:27
635
原创 Agent Orchestration：为什么推理正在变成“连接问题”？
你能感觉到它“智能”，但一旦让它执行一个 10 步以上的流程，它就像掉线一样失去协调能力。当上下文滚雪球式变大，模型必须频繁在 10 万 token 的语境里跳来跳去，就像一个人不断翻聊天记录找信息，自然会变慢、变乱。如果你也在构建智能体、数字员工或多模型工作流，欢迎留言交流你的系统设计难题，也欢迎告诉我你希望下一篇写些什么。擅长“编排”，不擅长“持久化”。当连接被重建，智能才能真正从“点”变成“面”，从“演示级”变成“生产级”。如果你把 step1 换成调用大模型，就能得到一个真实的“智能体节点”。
2025-11-17 11:54:07
812
原创 推理成本优化：Speculative Decoding、Chunk Decoding 与混合推理
（开发者终于有办法让模型“跑得快、算得少、效果不掉”）过去一年，我们很少再讨论“模型怎么训练”，更多在谈“模型怎么跑得起”。算力预算不断压缩、应用端延迟要求不断提高、手机和边缘端又开始在容纳 20B～100B 模型，推理成为新的瓶颈。你可能也经历过：模型效果很好，但线上一跑，成本高得离谱；加点批处理可以省算力，但延迟又上不去；想上移动端，但生成速度慢得让用户想打人。这背后折叠出一个行业事实——
2025-11-17 11:25:15
1154
原创 MoE（混合专家）体系深拆：为什么 2 万亿参数只激活 3%？
如果 dense 模型的进化像“肌肉”，MoE 的进化更像“组织结构”。它让大模型第一次拥有了“无限扩张知识容量”的能力。Dense 模型的知识容量是线性的：想变强 → 堆更多参数 → 成本上升 → 迟早撞墙MoE 的容量是可水平扩展的：想变强 → 继续加专家 → 推理成本基本不变这不是性能优化，而是能力边界的重写。MoE 是让大模型摆脱“规模限制”的工程突破。它让 2 万亿参数并不难；让激活 3% 成为可能；让推理成本有机会下降；让大模型真正拥有“专业化协作能力”。
2025-11-17 09:19:12
1318
原创 原生全模态模型的架构演进：从单模态到统一表征的技术飞跃
过去几年，很多开发者都有同一个感受：大模型变强了，但我们似乎越来越看不懂它们。尤其是在多模态任务中，“为什么模型能同时理解图像、文字和语音？”、“不同模态之间的信息是怎么融合的？”、“这些能力靠堆算力还是靠结构创新？”——类似的问题在社区里反复出现。这种困惑不是偶然——多模态模型确实走到了一个分水岭，而的思路，更像是一场架构范式的重构。今天，我们不讲概念堆叠，也不贴大段代码，而是想把这条复杂技术演进路径，讲成你能“看懂、记住、讲得清”的一篇文章。
2025-11-17 07:00:00
939
原创 逆向工程与移动端加密通信的攻防思考
每一个试图解密密文的人，都在提醒我们：你永远不能完全信任客户端，也永远不能假设对方“只是好奇”。逆向工程和移动端加密通信，表面上是技术博弈，本质上是开发者与世界之间的“信任协商”。我们需要做的，不是构筑一堵不可摧毁的墙，而是建造一片让攻击者觉得“没有意义”的迷宫。当你理解了这一点，你就真正理解了移动端安全的底层逻辑。
2025-11-16 07:30:00
924
原创 何必 DiT！字节用离散自回归打出反击：单卡一分钟生成 5 秒 720p
直到字节跳动商业化技术团队把 InfinityStar 送进 NeurIPS’25 Oral，我们才突然意识到，原来“扩散不是唯一的未来”这句话，不只是宣言，而是一套真正能跑通的系统。这套组合拳让 InfinityStar 生成的视频具备一种“电影式的连续性”，镜头不会乱跳、动作不会抖动、角色不会漂移，是目前离散自回归体系中最完整的时空建模方法。这种“外观与运动解耦”的策略，看似简单，却把原本极难统一处理的 T2I、T2V、I2V 任务拉到了同一个结构里，等于重新定义了视频生成的编排方式。
2025-11-15 08:00:00
701
原创 离散自回归模型 vs. 自回归模型：为什么大模型时代重新关心这对“老对手”？
离散自回归像符号，是抽象的、压缩的、高度结构化的。如果你的任务强调压缩、强调结构表达、强调速度、强调多模态融合、强调对表示空间的控制，那离散自回归模型（或离散瓶颈结构）可能就是被你忽视的宝藏。它们没那么火，但它们反复出现在那些对延迟敏感、对结构稳定性更高的系统中，比如语音编码、视频压缩、token 重参数化模型，甚至新一代多模态模型里的“中间离散瓶颈”。而我们要做的，不是二选一，而是理解它们何时各自闪光、为何彼此互补，以及在多模态、复杂系统和高效推理的时代，这两种逻辑如何共同构成新模型的骨架。
2025-11-15 06:00:00
1314
原创 多模态不再缝缝补补：文心 5.0 正在重写大模型的“世界观”
我饶有兴致的去搜了下文心5.0的相关“实力”，原来在 11 月 8 日的 LMArena 更新中，全新的 ERNIE-5.0-Preview-1022 排在文本榜全球并列第二的位置，在国内模型中排名第一，在创意写作、复杂长问题理解、指令遵循等维度都有较明显的优势，整体分数超过了多款国内外的主流模型。从这张“生成出来的合影”里，你能感觉到的是：文心 5.0 不只是会把“两个人 + 握手”拼在一起，而是对“这应该是什么场合、两个人应当呈现什么状态”有一套自己的判断。它画出来的不是一张静态姿势图，而是一种。
2025-11-14 20:57:21
1673
原创 为什么 AI 推理天然更偏向 ARM（而不是 x86）
它像一个能够在野外随时开唱的吉他手，不需要昂贵的设备，也不害怕长时间持续输出，只要你给它足够的能量，它就能稳定演奏到底。ARM 是那个底座，不靠市场营销，不靠路线图，而是因为它的节奏、能效、协作方式，与推理的需求一一重叠。未来的大模型将越来越像流体，而不是固体——它会在设备间流动、在个人与云之间流动、在本地与服务之间流动，这需要一种共同语言，而那语言不是 x86。但问题是：AI 推理不是钢琴曲。矩阵乘法的密集性、访存的确定性、执行路径的单调性，这些特点让推理更像是“稳定长跑”，而不是“短跑 + 障碍赛”。
2025-11-14 14:22:25
845
原创 ARM + AI：当计算的心跳变得更轻、更快、更靠近你
很多人问：ARM 会不会取代 Intel？不会，至少不是以“替代”那种戏剧化的方式。但它会做一件更深刻的事：它会重塑我们对计算的想象。x86 更像是“计算堡垒”，用于重型工业；ARM 更像是“计算血管”，贯穿日常的每一寸现实。AI 需要两者。只是它越来越需要 ARM 这种“随处呼吸的算力”，来让 AI 从头顶的大云，落到身边的小物。未来可能会是这样的：大模型训练 → x86 + GPU边缘推理 → ARM + NPU混合推理 → ARM 与 x86 协同。
2025-11-14 12:00:33
847
1
原创 从零构建 Transformer 架构的大模型最小实现
模块作用对应 GPT 模块词与位置嵌入捕获上下文特征变换MLP 层LayerNorm + 残差稳定训练预测下一个词。
2025-11-12 06:00:00
300
原创 图像生成技术演进史：从 GAN 到 Diffusion 再到 Sora
GAN 是街头画师，靠灵感快速画图；Diffusion 是艺术修复师，精雕细琢地还原图像；Sora 是电影导演，用一句话拍出梦境。
2025-11-11 08:30:00
862
原创 非常好，这正是很多人容易混淆的点：模型参数的“规模”经常用 **B（billion，十亿）** 作为单位，比如 “7B 模型”“70B 模型”——但这背后的逻辑，远不止数字大小。下面是一篇完整讲透
参数量（B）表示模型的“潜在容量”；算力与显存决定了你能不能“喂饱它”；数据与微调才决定它能不能“学会思考”。在 2025 年的模型演化趋势中，我们正从参数膨胀 → 智能密度提升的阶段过渡。未来的胜利者，不一定是 1000B 的巨兽，而是能在 7B 里塞进“聪明分子”的模型。🧩一句话总结参数量的 B，是模型的“体积”；而智能的 A（Ability），才是模型的“灵魂”。
2025-11-11 07:00:00
714
原创 如何构建一个图文问答系统？多模态 RAG 架构实战
从传统 OCR + 关键词匹配，到今天的图像理解 + 生成式问答，多模态问答系统正在成为企业 AI 产品的新主力。如果你在做：智能质检（看图说错）图文票据识别（发票、合同、截图）教学/百科系统（上传图提问）那么多模态 RAG 架构绝对是值得投入的方向。
2025-11-11 06:30:00
427
原创 开源视觉大模型盘点：BLIP、LLaVA、MiniGPT-4 全解析
BLIP：视觉问答界的“科研老将”，有两个版本，适合图像-文本预训练任务；LLaVA：结合 LLaMA 和 CLIP 的高效选手，擅长开箱即用的图像问答；MiniGPT-4：类 GPT-4 的开源复刻，多模态能力强，适合复杂指令和场景对话。
2025-11-11 06:30:00
1010
原创 真正看懂 InnoDB = WAL + Undo + Buffer Pool + B+Tree 数据页
InnoDB 把磁盘页加载到内存页，作为高速存储区域包括：数据页（B+Tree）索引页（B+Tree）Undo 页锁信息日志作用优化目标Redo重放、抗崩溃快速顺序写，延迟刷盘Undo回滚 + MVCC快速读旧版本，短事务InnoDB = 持久性 + 并发控制 + 内存数据库Redo Log → WAL → 抗崩溃Undo Log → MVCC → 快照读 + 回滚Buffer Pool → 内存引擎 → 高速读写 + 延迟刷盘只要你记住InnoDB 不是“写磁盘”
2025-11-10 12:00:00
1864
原创 AI 视频生成入门指南：如何使用 Sora、Runway 或 Stable Video
AI 视频生成不是魔法，而是你创意的放大器。无论你是产品经理、编导、开发者，AI 视频都正在让“会动的创意”成为现实：Sora：未来级导演助手（等开放）Runway：人人可用的剪辑神器（马上试）Stable Video：极客专属实验田（本地玩）📣下一步想看哪种实战教程？Sora prompt 编写技巧？Runway 自动化批量调用？留言区告诉我～
2025-11-10 06:00:00
1992
原创 数据库全家桶分类地图
特点 | 强事务 + 水平扩容（替代 MySQL 分库分表） |关系型 + 强一致 + 分布式 CAP/RAFT + 自动分片。“数据永不落地，全程流式” 是下一代实时架构趋势。用 ClickHouse / BigQuery。用 MySQL / PG / NewSQL。“存算分离 + 自动扩缩 + 分布式日志”用 Milvus / pgvector。它们不是“数据库替代品”，而是。可以写 SQL 做向量检索的。没有“最好的数据库”，只有。
2025-11-09 09:15:00
785
原创 多模态大模型是什么？从 CLIP 到 Gemini 的跨模态理解
多模态大模型就是那种能一边看图，一边理解你说什么，还能再配个音频或生成个视频的 AI。它不是“你说我做”，而是“你说、我看、我听、我理解、我生成”。因为人类的思考方式天生就是多模态的：你看书（图文）你听歌（听觉）你刷视频（视觉+语音）你写代码（结构+语义）大模型如果想成为真正的“人工通用智能”，那它必须跨模态理解世界。这条路已经从 CLIP、BLIP、Flamingo、Gemini 一路铺开，下一站也许就是“AI+脑机接口”的真实交互了。
2025-11-09 09:06:50
635
原创 以学术+防御的角度，逆向工程与协议/平台分析
把分析结果转成可执行的防御措施：不是证明“我能逆向”，而是落地“我发现了哪些可观测指标，如何补日志、如何做检测、阈值怎么设”。把检测放在早期：客户端/网关就埋点（请求频次、行为序列、异常报文、认证链路），云端做时序/行为模型。做模拟演练，而不是实战攻击：用自建服务模拟异常流量，验证检测规则与误报率。保持合规与沟通：渗透/逆向发现一切需通过合规渠道上报，形成修复闭环。
2025-11-09 07:15:00
1102
原创 企业部署开源大模型时，必须规避的五个隐性风险
企业部署开源大模型，不只是拉模型、装 GPU、跑通接口这么简单，合规、可控、可审计的全链路风险把控，才是你交付安全能力的真正边界。
2025-11-09 07:00:00
630
原创 一口气把 SQLite / PostgreSQL / MySQL 掰开揉碎
嵌入式、零运维、文件即数据库；单人/边缘/离线场景神兵利器。：强事务 + 强查询 + 强扩展（FDW/JSONB/GIN/GiST/BRIN）；做“企业底座”的通用数据库。：互联网场景“耐操型”OLTP 标配，生态完善，复制与读写分离玩法多，简单查询高并发下性价比高。
2025-11-08 09:00:00
627
原创 NocoBase：当“低代码”遇上“可编程”，后端从搭积木开始
很多开发者觉得低代码不够优雅，但企业业务场景里，交付速度 + 可维护性 + 扩展能力是最硬的指标。NocoBase 的出现，是“低代码 ≠ 无代码”，让工程师专注差异价值，而不是重复劳动。技术不是降维，是升维抽象。
2025-11-08 07:00:00
1118
原创 SQLite → PostgreSQL 迁移脚本与踩坑清单
本文提供了SQLite迁移到PostgreSQL的两种可靠路径：首选使用pgloader工具自动转换schema和数据，支持类型映射和并行复制；备选方案通过sqlite3导出CSV再用PostgreSQL的COPY命令导入，适合需要自定义清洗的场景。重点介绍了数据类型映射规则、迁移步骤、校验方法和常见问题，包括自增主键、布尔值、时间类型等关键差异处理。迁移后需进行行数核对、哈希抽样等校验，并给出了性能优化建议。最后强调迁移不仅是数据转移，更需要同步升级数据模型和索引策略，根据业务场景选择合适的数据库方案。
2025-11-07 09:00:00
1409
原创 下面这一篇，我们不写“菜鸟对比”，而是写一篇**深度、PostgreSQL vs SQLite：同为数据库，却站在系统设计的两端
真正成熟的工程师不会问：“用 SQLite 好还是用 PostgreSQL 好？而是问：“我的系统生命周期与业务边界在哪里？SQLite 让你快速起飞PostgreSQL 让你飞得稳、飞得久。
2025-11-07 06:00:00
1189
原创 对抗训练架构（Adversarial Training）——把风控训练成能“看穿伪装”的模型
先建训练数据快照（包含真实欺诈样本与正常样本）。快速实现Rule-based 对抗生成器，产生第一批对抗样本并送人工复核。用 curriculum training 把这些样本逐步加入模型训练，观察误杀与召回变化。上线 Shadow 模式 2 周，收集在线差异样本并回流。迭代生成器（Markov → Transformer → RL），不断提升“敌人质量”。
2025-11-06 07:00:00
738
原创 PostgreSQL 深度剖析：从 MVCC 到执行器、从索引到复制与恢复
它既是严格的 ACID 事务数据库（OLTP），又能靠扩展生态（FDW、索引族、存储过程、流复制、插件）向 HTAP/地理/时序/JSON 文档场景伸展。当你能用 EXPLAIN 解释每一次“慢”和“快”的原因时，PostgreSQL 才真正成为你的工程资产，而不是“运气好的黑盒”。每次事务写数据页之前，先把日志（WAL）的记录写落盘，以便崩溃恢复（AR/REDO）。：块级最小索引，适合“随时间递增插入”的超大表（时间序列、日志），空间极省。：通用搜索树，用于空间/模糊匹配（PostGIS、全文近似）。
2025-11-06 07:00:00
1869
原创 深度伪随机用户行为模型：给风控系统造“聪明敌人”，训练出真正强的防御
目标本质提升风控系统鲁棒性让它见过“聪明攻击”减少误杀区分怪异 vs 正常边界提高安全 ROI系统不用盲目加规则加速 AI 风控演进喂它“训练弹药”好风控 = 懂人性 + 懂机器 + 懂变化大敌当前，你必须训练你的系统像猎人。
2025-11-05 06:00:00
1971
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人