雷羿 LexChien-优快云博客

原创「ALife-Platform 人工生命笔记」(六)：中文情绪识别——词库 0.45 vs 本地 Gemma 0.83，自写测试集的 17/17 与反讽的盲区

本文是人工生命笔记第六篇，复盘数字分身的中文情绪识别：同一天里，自写 17 句测试集上词库 17/17，换成公开繁中数据集（n=200）后只剩 0.45；本地 Gemma 零样本分类 0.83，hybrid 0.825。用原始记录重算发现：词库的错多数是“没认出”，置信度只有几个台阶，阈值 0.8 是事后在同一批数据上选的；Gemma 会把惊讶判成开心，还会输出标签集以外的 sarcasm。同模型当评审，反讽答错也给满分。

2026-11-14 21:55:06 80

原创「Gemma 4 QAT 实战笔记」(二)：不重新量化，只对齐格点——exact-grid 打包、固定 scale 的 LoRA-QAT 与 PLE g256

「Gemma 4 QAT 实战笔记」第二篇，讲 M0 之后怎么处理权重本身。官方 QAT 权重 278 个量化张量 100% 落在 Q4_0 g32 对称格点上；不重新量化、按原格点直接打包（exact-grid），MLX g32 版 2.893GB，困惑度 47.17/40.27，与 bf16 持平。训练时固定官方 scale 做可合并 LoRA-QAT，打包误差为 0。compressed-tensors 版把 PLE 改为 int4 g256，2.55GiB，困惑度 47.01/40.67。

2026-11-14 21:47:28 195

原创「论文导读」先验证再取数：VerKV 给 KV 缓存压缩加上 (ε, δ) 误差证书，显存只留 6.25% 时解码比整体卸载快 1.6 倍

长上下文下 KV 缓存放不进显存：整块卸载到内存，每步都要走 PCIe；只留压缩缓存，高压缩比下质量崩溃。IIT Bombay、Rice 与 UC Berkeley 的 VerKV（arXiv 2611.11319）在 GPU 上留一份泊松采样的 KV 和 2-bit 键草图，每步先算误差证书，超出 (ε,δ) 容差才从主机内存补取。8×–32× 压缩下平均保留稠密质量的 96%–86%，每个 token 只读 2%–23% 的缓存；vLLM 中显存只驻留 6.25% 时，解码比整块卸载快 1.6 倍。

2026-11-14 21:37:51 85

原创「Gemma 4 QAT 实战笔记」(一)：10GB 的 QAT 权重怎么压到 3GB 以下——源码追踪、PLE 嵌入与 M0 基准

本文是「Gemma 4 QAT 实战笔记」第一篇。目标：在 M1 Max 上不用 llama.cpp，从官方源码重做 Gemma 4 E2B 的 QAT，做出小于 3GB 的 4-bit 版。源码追踪发现：官方 QAT 包装器对 Gemma 4 包上 0 个层；体积大头是 23.5 亿参数、4.7GB 的 PLE 嵌入表。训练前的 M0 基准里，MLX QAT 4-bit g64 只有 2.636GB，困惑度仅增 3.1%/5.9%；2-bit 混合版与官方 mobile 版都明显变差。

2026-11-13 18:16:10 603

原创「ALife-Platform 人工生命笔记」(五)：从 AI 到单细胞模拟的成效——一次 58 秒的接触转化演化，叙事分 0.910 与粒子真值的落差

本文是人工生命笔记第五篇，复盘平台从 AI 数字分身走到“细胞”模拟的一段：2026-09-20 一次 58 秒的 ASAL 演化，用 160 个粒子演出“健康组织→恶性播种→接触转化→组织接管”的视觉隐喻，附完整演化 GIF 与关键帧。seed 21 叙事分 0.910，3 个 seed 全部验收。回头用原始轨迹重算发现：评分看的是像素颜色，按粒子真实比例，后两个阶段 0/16 帧落在目标区间；判官是手工 stub，搜索只有 2 代×4 个候选。

2026-11-13 18:10:25 444

原创「ALife-Platform 人工生命笔记」(四)：数字 DNA 的两次适应度作弊与基因 A/B——从“铺满同心环”到字数 211 vs 42、正式度 10/20

本文是第四篇，记录 2026-10-02 的数字 DNA 实验。我给 Lenia 和数字分身设计了同一份可遗传基因组（5 维 theta + 7 个人格特质，SHA-256 内容 ID）。第一版适应度被“标准差项”利用，4 个 seed 的最佳个体都铺满了同心环；第二版加了局部化和填充惩罚，又被“冻结初始斑块”钻了空子。补上 dt 下限和最低变化量后，4 个里 3 个是局部团块，但都不会动。基因 A/B 用真 Gemma 测：字数 211 vs 42、盲评温暖 19/20，正式度 10/20，等于机会水平。

2026-11-13 00:05:23 265

原创「论文导读」验证越多越慢：HybridSpec 在第一个 MoE 路由器处看一眼专家，让 Qwen3.6-35B-A3B 的投机解码再快 1.3 倍

本文导读 Meta AI 与纽约大学的 HybridSpec（arXiv 2611.04055）。在 GDN + MoE 混合模型上，验证长度从 4 拉到 16，验证时间涨了 71%，稠密模型只涨 4%–6%。它按吞吐目标选验证长度，在第一个 MoE 路由器处根据真实专家分配决定是否多验一个 token，并用并行 GDN 内核避免逐 token 状态拷贝。单请求贪心解码下，三个混合模型比自回归快 1.75–1.88 倍，比原版 DFlash 快 1.30–1.33 倍。

2026-11-12 23:38:40 269

原创「ALife-Platform 人工生命笔记」(三)：把数值爆炸说成“在思考”之后——NCA 能量 13→10⁶ 的复盘、遥测门与 mock/真模型分账

本文是 ALife-Platform 人工生命笔记系列第三篇，复盘一次 AI 辅助科研中的“包装”事故。2026-04-30，live NCA 的能量从 13.0 一路涨到 1e6 以上，77 条记录里 56 条被标为 EXPLODING，当时的 AI 代理却把它描述成“黑魂在思考”，并让显示 bug 掩盖了分数下降。三个 run 逐一对质之后，我把“可以接受失败，不能接受欺骗”写进项目铁律，落成去包装化规则、五级状态词、当前分与最佳分分账、稳定性门；之后又把同一纪律扩展到 mock 与真模型分账。

2026-11-12 23:26:42 296

原创「ALife-Platform 人工生命笔记」(二)：细胞叙事的评分漏洞与多 seed 验收——从“单帧闪现满分”到 strict-clean 0/12 vs 12/12

本文是 ALife-Platform 人工生命笔记第二篇，复盘细胞叙事（出生→分裂→融合）的评分与验收：旧评测按阶段只取最高分那一帧，单帧巧合也能满分；补上持续覆盖、碎片比和质心连续性后，5 个 seed 全被拒，收紧动力学后 5/5。12-seed 对比中 strict-clean 为 0/12 对 12/12，并如实说明“融合”只是两圆相接。

2026-11-11 22:26:28 346

原创「论文导读」精度不是专家的另一个副本：PagedMoE 用前缀兼容缓存，把 397B MoE 从 SSD 跑到 8.89 tok/s

本地把超大 MoE 放在 SSD 上按需加载时，瓶颈是每步要读的专家字节。清华 PagedMoE（arXiv 2611.03173）把精度定义为同一份专家状态的细化深度：低精度是高精度的前缀，缺多少 bitplane 补多少。平均 2.5-bit 时 Qwen3.5-397B 质量接近 GPTQ-INT4，24 GiB 缓存达 8.89 tok/s。

2026-11-11 22:23:31 267

原创「ALife-Platform 人工生命笔记」(一)：数字分身的记忆与人格一致性——从“自评高分”到 32 题真模型评测

本文是 ALife-Platform 人工生命笔记系列第一篇，复盘我在本地数字分身上做的记忆与人格一致性实验：旧评测把人格前缀注入回答再自评，高分不代表模型行为；重建评测后，经推理通道外泄修复、记忆作用域隔离与嵌入模型对比（MiniLM→e5→bge-m3），32 题评测在真 Gemma 上达到 30–31/32。

2026-11-11 01:28:44 576

原创「论文导读」把 35B MoE 塞进 3 GiB 内存：Edge0 用“预测即路由”从 SSD 流式加载专家权重

本地跑大模型，瓶颈常常不是算力，而是权重放不下。arXiv 2609.18063 提出的 Edge0 把 35B MoE 的专家权重留在 SSD 上按需流式加载，用 prerouter 提前一个 token 预测路由把读盘藏到计算后面，再用不合并的恢复 LoRA 补回精度。在 24 GB Mac mini 上跑到约 20 tok/s，峰值活动内存仅 2.9 GiB。

2026-11-10 19:42:06 187

原创 C++内存泄漏排查

内存泄漏是C++开发中的常见问题，长期运行的程序可能因泄漏导致性能下降或崩溃。通过竞赛形式提升开发者对内存管理的重视，分享排查技巧与工具使用经验。

2025-07-08 23:46:36 264 1

原创「论文导读」LLM高效推理与模型量化

「LLM高效推理与模型量化」的论文，与LLM高效推理和模型量化相关的学术研究，尤其是与文章中提到的llama.cpp、GGUF格式和本地推理技术高度相关的论文，因为这篇论文是LLaMA模型的基础文献，与高效推理和模型量化直接相关，补充对GGUF量化技术和本地推理相关研究的分析，确保内容全面。

2025-07-08 23:43:34 1982

原创「论文导读」本地部署与隐私保护

「Privacy-Preserving Local Inference for Large Language Models: Techniques and Challenges」是一篇探讨本地LLM推理中隐私保护的学术论文，针对数据泄露风险和硬体限制提出系统性分析。论文介绍了差分隐私、联邦学习和同态加密等技术，评估其在隐私与效能之间的折衷，并探讨长对话和多用户场景的挑战。与「用Go打造本地LLM聊天机器人：整合llm-go与go-llama.cpp」相呼应

2025-07-07 15:42:45 1316

原创 Go 语言实现本地大模型聊天机器人：从推理到 Web UI 的全流程

本专案整合 go-llama.cpp 与 llm-go，打造一个可本地部署的 LLM 聊天机器人系统，支援 GGUF 模型推理、Prompt 管理、角色切换与上下文记忆。前端以 Nuxt 3 + Tailwind CSS 建构，实现即时回应与聊天室介面，后端提供 REST API 与 Swagger 文件。

2025-07-06 21:44:26 1201

原创为 Go-llm-cpp 接入 Web API 接口，创建 Chatbot 聊天机器人

go-llm-cpp 是一个以 Go 语言打造的本地大语言模型聊天框架，整合了 go-llama.cpp 作为模型推理引擎，并搭配 llm-go 负责 prompt 组装与会话管理。该专案支援 GGUF 格式模型，具备轻量、可控、可自定义人格等优势，适合开发本地部署的聊天应用与 API 服务。其架构模组清晰，包含模型初始化、Prompt 管理、对话历史记忆、Web API 接口与 CLI 聊天模式，可快速扩展接入 Web UI、Swagger 文件或

2025-07-06 10:40:37 1245

原创用 Go 打造本地 LLM 聊天机器人：整合 llm-go 与 go-llama.cpp

随着本地部署 LLM（如 LLaMA、Gemma、Mistral）的需求增加，许多开发者希望能以原生语言如 Go 建构轻量的推理系统。

2025-07-05 22:32:29 1139

原创从 Prompt 管理到人格稳定：探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计（下）

透过这次实践，我观察到未来 Chatbot 开发正逐步走向「系统化 prompt 调度」、「人格可控微调」与「工具链驱动开发」三大方向。这不仅是一次针对 Gemma 的模型调整实录，更是对新一代智能应用开发方式的一次反思与迭代。

2025-07-05 15:11:57 2374

原创从 Prompt 管理到人格稳定：探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计（上）

原始模型存在的问题：人格不稳定、上下文丢失、语气不一致，人格稳定性的技术挑战与解决方案

2025-07-05 00:31:08 1467

原创从 Prompt 管理到人样稳定：我对 Gemma 聊天机器人的一次系统改造实录

本文系统梳理了我在改造 Gemma 聊天机器人过程中的实战经验，重点围绕 Prompt 管理与人设风格稳定展开。针对原始模型在多轮对话中出现的语气漂移、人设不统一等问题，我设计了结构化的 Prompt 管理模块，引入“人格守门人”机制，自定义 YAML 配置文件与上下文注入策略，从而实现聊天机器人在长文本交互中保持语气一致、逻辑连贯。

2025-07-04 21:30:34 1517

原创 CUDA-PyCPP-Kit 深度技术剖析：从 C++/CUDA 混合到 Python 高效调用

《CUDA-PyCPP-Kit》是一套高性能计算入门框架，专注于 Python 与 C++/CUDA 混合编程实践。该项目具备模块化架构，分为 CPU 与 GPU 两条路径，既能在无独立显卡环境下执行，也能部署于支持 CUDA 的 NVIDIA 平台。

2025-07-04 16:04:51 951

原创 CUDA-PyCPP-Kit 技术分析与实战指南

CUDA-PyCPP-Kit 为 Python 与 C++ 混合编程设计，包含基准测试、扩展模组编译脚本、典型用法示例与详细依赖说明，专案同时支持 CPU 与 GPU 两种环境。

2025-07-03 23:55:33 952

原创 CUDA 本地与 Mac 环境下如何实现 C++/python 开发 GPU 代码

CUDA是由 NVIDIA 推出的并行计算平台与编程模型，可大幅提升 GPU 的运算效能。从CUDA的基本原理出发，介绍其与 C++/Python 的结合方式，并特别针对 macOS 环境的兼容性进行分析。文中精选数个可在本地运行的开源项目，完整学习路线图。

2025-07-03 15:27:04 4195

原创 Gemma Chatbot 前端架构深度解析：Gradio 与多主题 Web UI 的设计实践

Gemma Chatbot 是一套结合 C++ 高效推理核心与 Python 前端的本地化大语言模型聊天系统。本文聚焦其前端架构设计，深入解析了 Gradio 快速开发界面与多主题 Web UI 的协同实现。内容涵盖多语言切换、推理参数管理、流式响应处理、对话记录保存及 API 接口调用等实战技术，展示如何构建一套易于扩展、跨平台、可自定义的 LLM 本地前端系统。文中还提供了完整的事件绑定流程、HTML/CSS 组件示例、消息流与状态管理逻辑。

2025-07-02 23:37:22 1338

原创 Gemma Chatbot 架构深度剖析：从 C++ 核心到多语言推理的工程实践

本文深入剖析 Gemma Chatbot 的本地部署架构，涵盖 C++ LLM 推理核心、Python 控制层与 Gradio 前端设计，并介绍量化模型、多线程加速、chat-template 模板引擎、多语言支持与参数管理等技术细节，帮助开发者理解高效本地化聊天机器人的工程实践方法。

2025-07-02 22:50:24 1227

原创深入解析 Gemma Chatbot 背后的 C++ 技术核心，解析 gemma.cpp 架构

隨着大语言模型（LLM）逐漸普及，如何在本地端高效运行这类模型成为热门话题。Google Gemma 与 Meta Llama 等模型，因其开源与轻量特性，常被用于本地推理。而在这些应用背后，C++ 扮演了不可或缺的角色。本文将以本项目中的gemma.cpp（架构与类似）为例，介绍其 C++ 技术实现重点。

2025-07-01 13:48:20 1180 1

原创轻量级 LLM 互动系统「Gemma Chatbot」

Gemma Chatbot 是基於 Google Gemma QAT 模型打造的本地輕量級聊天系統，使用 C++ 與 Python 開發，整合 Gradio 視覺介面。系統支援多語言切換、參數即時調控、聊天記錄保存與多模式配置，適用於 LLM 開發者、研究人員進行本地測試與部署，並可擴展至 RAG、插件與多模態應用。

2025-07-01 11:18:18 1091

雷羿LexChien的博客