<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[GGCCCL的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/GGCCCL</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; GGCCCL]]></copyright><item><title><![CDATA[大模型训练与量化]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160717388</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160717388</guid><author>GGCCCL</author><pubDate>Sat, 02 May 2026 18:28:44 +0800</pubDate><description><![CDATA[本文介绍了大模型量化技术与DeepSpeed分布式训练框架。量化技术通过降低权重精度（如FP16→INT4）显著减少显存占用和提升推理速度，主流方法包括GPTQ（二阶误差补偿）、AWQ（激活感知缩放）和BitsAndBytes（混合精度处理离群值）。实战部分演示了使用llmcompressor工具进行W4A16量化的完整流程。DeepSpeed框架通过ZeRO优化器分片策略（分三个阶段消除模型状态冗余）和异构内存技术（Offload/Infinity），结合3D并行策略，实现了从单卡到千卡集群的高效训练，支]]></description><category></category></item><item><title><![CDATA[高级微调技术（RLHF）]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160664574</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160664574</guid><author>GGCCCL</author><pubDate>Thu, 30 Apr 2026 17:42:43 +0800</pubDate><description><![CDATA[RLHF（基于人类反馈的强化学习）是一种关键技术，通过人类偏好数据优化大语言模型（LLM）的输出，使其更符合有用性（Helpful）、诚实性（Honest）和无害性（Harmless）的3H原则。RLHF分为三个阶段：监督微调（SFT）、奖励模型训练（RM）和强化学习优化（如PPO/DPO/GRPO）。其中，DPO（直接偏好优化）因高效稳定成为主流方法，无需显式奖励模型即可直接优化偏好数据。实战中，通过LLaMA-Factory框架可在消费级硬件上实现DPO微调，显著改善模型回答风格（如从武断猜测转]]></description><category></category></item><item><title><![CDATA[2025 年大语言模型进展报告]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160566927</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160566927</guid><author>GGCCCL</author><pubDate>Mon, 27 Apr 2026 21:21:34 +0800</pubDate><description><![CDATA[核心主题：2025 年大语言模型（LLMs）架构演进不再单纯依赖规模扩张，而是通过架构革新提升模型能力与效率。主要覆盖内容全注意力序列建模稀疏序列建模模型混合专家模型（MoE）状态化序列建模模型多模态语言模型架构新兴方向（扩散语言模型、动态计算、嵌套学习等）演进逻辑：从“静态规则”向“动态适应”、从“稠密计算”向“高效稀疏/混合”、从“单模态”向“原生多模态”转变，追求效率与表达能力的帕累托最优。核心主题：2025 年大语言模型训练技术呈现多维度突破与深度融合特征。重点围绕。]]></description><category></category></item><item><title><![CDATA[TChecker 编译踩坑全记录：从缺失依赖到代码修复]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160522911</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160522911</guid><author>GGCCCL</author><pubDate>Sun, 26 Apr 2026 11:14:18 +0800</pubDate><description><![CDATA[TChecker 这个工具对于想深入理解 PHP 静态分析和 CPG 的朋友来说非常有价值，虽然初次编译会踩些坑，但只要理清依赖关系和源码中的小问题，很快就能跑起来。希望这篇踩坑记录能帮你节省时间，少走弯路。如果还有什么问题，欢迎在评论区交流！]]></description><category></category></item><item><title><![CDATA[参数高效微调]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160497838</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160497838</guid><author>GGCCCL</author><pubDate>Sun, 26 Apr 2026 11:06:24 +0800</pubDate><description><![CDATA[方法核心思想可训练部分关键机制解决的问题LoRA低秩近似低秩矩阵 A 和 B (旁路)\(\Delta W = B \cdot A\)，可合并入原权重无推理延迟，极高参数/存储效率AdaLoRA自适应低秩分配SVD 参数化的 P, Λ, Q重要性评分 + 动态预算调度固定秩分配的次优性，模块/层级重要性差异QLoRA量化基座模型 + LoRANF4 量化后的基座 + 16-bit 适配器NF4 数据类型、双量化、分页优化器。]]></description><category></category></item><item><title><![CDATA[深入大模型架构]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160343307</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160343307</guid><author>GGCCCL</author><pubDate>Mon, 20 Apr 2026 21:18:01 +0800</pubDate><description><![CDATA[最重要概念稀疏激活：MoE 的本质——用海量参数换取极低的活跃计算量。Router（门控网络）Experts：MoE 的两大核心组件。：目前最主流的路由策略（尤其是 Top-2）。负载均衡：MoE 训练中最关键的挑战，必须通过辅助损失解决。共享专家（DeepSeek）：现代 MoE 的重要创新方向。MoE vs 稠密模型对比参数容量：MoE ≫ 稠密推理计算量：MoE ≈ 小模型训练难度：MoE > 稠密（需处理负载均衡、通信等）显存占用：MoE ≈ 总参数量（所有专家仍需加载）]]></description><category></category></item><item><title><![CDATA[预训练模型]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160294463</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160294463</guid><author>GGCCCL</author><pubDate>Sun, 19 Apr 2026 11:19:42 +0800</pubDate><description><![CDATA[BERT（Encoder-Only，双向理解专家）：像一个“超级阅读理解高手”。它能同时看前后所有内容（双向注意力），非常擅长“吃透”一句话的意思。典型干的事：判断这句话是正面还是负面情感？找出人名、地名？判断两句话是否相似？做搜索排序。它不擅长自己写长文章，因为它不是为“一步一步生成”设计的。GPT（Decoder-Only，续写/生成大师）：像一个“天才故事续写家”。它只能从左往右看已经写过的内容，然后一步一步预测下一个词（因果注意力）。]]></description><category></category></item><item><title><![CDATA[注意力机制与 Transformer]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/160147670</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/160147670</guid><author>GGCCCL</author><pubDate>Tue, 14 Apr 2026 21:52:33 +0800</pubDate><description><![CDATA[序列内部“自己对自己”做注意力计算。Q、K、V。]]></description><category></category></item><item><title><![CDATA[文本表示与词向量]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/159606083</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/159606083</guid><author>GGCCCL</author><pubDate>Sun, 29 Mar 2026 11:28:25 +0800</pubDate><description><![CDATA[技术适用场景优缺点关键点面试/工作出现频率One-Hot玩具级演示维度灾难、无语义★★BoW简单分类、Baseline快、丢失词序★★★TF-IDF关键词提取、搜索、传统ML区分度高、仍丢失语义★★★★★（高频）N-gram语言模型、小数据场景捕捉词序，但稀疏★★★★序号化+Embedding所有现代NLP/LLM项目端到端、可迁移★★★★★（核心）生产中常用组合Baseline语义增强：Word2Vec 平均池化句子向量 → 全连接分类主题分析。]]></description><category></category></item><item><title><![CDATA[OpenVLA论文精读]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/156652023</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/156652023</guid><author>GGCCCL</author><pubDate>Wed, 07 Jan 2026 09:48:39 +0800</pubDate><description><![CDATA[大型策略（AI模型）预先在互联网规模的视觉-语言数据和多样机器人演示上训练，有潜力改变我们教机器人新技能的方式：而不是从零训练新行为，我们可以微调这样的视觉-语言-动作（VLA）模型，得到 robust（稳健的）、generalizable（能泛化的）策略，用于视觉运动控制。然而，VLA在机器人领域的广泛采用面临挑战，因为。]]></description><category></category></item><item><title><![CDATA[云端Sapien渲染终极挑战：hello_world为何永远失败？完整避坑指南]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/156097128</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/156097128</guid><author>GGCCCL</author><pubDate>Tue, 06 Jan 2026 00:27:10 +0800</pubDate><description><![CDATA[先说结论，博主在进行多次实验后，发现云端服务器+vnc只能运行python -m sapien.example.offscreen，但无论怎么配置都无法运行python -m sapien.example.hello_world。如果想只运行spaien可以试试在本地windows系统中（sapien基本兼容windows，可以运行python -m sapien.example.hello_world）；]]></description><category></category></item><item><title><![CDATA[视频内容智能解析（ASR+LLM）完整学习笔记]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/156203748</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/156203748</guid><author>GGCCCL</author><pubDate>Tue, 23 Dec 2025 20:22:22 +0800</pubDate><description><![CDATA[项目名称：视频内容智能解析参赛背景：2024年DataWOW大模型应用开发比赛作品，团队约10人（在校大学生 + 在职人员），通过开源社区结识，共创开发。开发周期：约2周，最终获“卓越作品奖”（上百参赛者、70+作品中排名前10%）。开源地址核心目标：利用大模型提升视频/音频学习效率，解决：学生跟不上课堂节奏、记笔记慢；在职人员无大块时间看会议/直播/长视频（B站、知乎上百集长系列常见）；大模型早期多模态（语音+语言）结合应用少。本项目是典型的多模态大模型应用。]]></description><category></category></item><item><title><![CDATA[RAG（检索增强生成）学习笔记总结]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/156083444</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/156083444</guid><author>GGCCCL</author><pubDate>Fri, 19 Dec 2025 21:07:14 +0800</pubDate><description><![CDATA[RAG 定义：Retrieval Augmented Generation，通过引入外部知识库检索相关信息，增强大模型生成过程，生成更准确、符合上下文的答案。解决基础大模型痛点知识局限性：模型知识限于训练数据，无法掌握实时或非公开知识。数据安全性：无需将私有数据纳入训练集，避免泄露风险。大模型幻觉：基于概率生成易产生错误内容，尤其在未知领域。优势：简单有效，已成为主流大模型应用方案之一，显著减少幻觉、提升事实准确性。RAG 基本三步骤索引（Indexing）]]></description><category></category></item><item><title><![CDATA[大模型应用开发必知必会笔记]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/155952087</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/155952087</guid><author>GGCCCL</author><pubDate>Mon, 15 Dec 2025 22:13:44 +0800</pubDate><description><![CDATA[语言模型核心目标：预测词序列中下一个词或缺失词的概率，对人类语言内在规律建模。四代语言模型演化统计语言模型（SLM）：基于马尔可夫假设的n-gram模型。神经语言模型（NLM）：神经网络（如RNN）+分布式词向量（Word Embedding）。代表：word2vec。预训练语言模型（PLM）：海量无标注数据预训练（biLSTM或Transformer）+下游任务微调。代表：ELMo、BERT、GPT-1/2。大语言模型（LLM）]]></description><category></category></item><item><title><![CDATA[VMware:设备vmnet0上的网桥没有运行。]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/154577031</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/154577031</guid><author>GGCCCL</author><pubDate>Sat, 08 Nov 2025 19:13:57 +0800</pubDate><description><![CDATA[解决方法：退出所有虚拟机，点击“编辑”中的虚拟网络编辑器，点击更改设置，点击还原默认值，按照提示找到”下载vmware“的文件夹的 vmnetBridge.dll 文件。重新启动虚拟机，发现网桥运行成功，ping通外网。问题：在做IPv4 分组收发与转发实验时，发现ping不通外网，检查日志发现设备vmnet0上的网桥没有运行。]]></description><category></category></item><item><title><![CDATA[戴尔笔记本电脑充不上电的问题]]></title><link>https://blog.youkuaiyun.com/GGCCCL/article/details/135032085</link><guid>https://blog.youkuaiyun.com/GGCCCL/article/details/135032085</guid><author>GGCCCL</author><pubDate>Fri, 31 Oct 2025 10:18:04 +0800</pubDate><description><![CDATA[（大家修电脑，最好先找官方修理店，毕竟官方天天修同一类电脑，可能会遇到类似问题，像我找的另一个修理店跟我说主板短路了要换主板......）试过几个网上的方法（像是长按关机键30s去静电、修改bios）都没用，最后找了戴尔官方修理店，发现是适配器坏了，买了个新的就好使了。电脑：戴尔灵越16plus，问题：充不上电，电量一直下降。]]></description><category></category></item></channel></rss>