RichardSchoolbag-优快云博客

原创（完结）【李宏毅机器学习2025春】笔记——10.语言模型如何学会说话-概述语音语言模型

语音语言模型发展迅速，但面临语音数据量庞大、信息复杂等挑战。语音需转化为token序列进行处理，主要方法有SSL（生成语义token）和Neural Codec（生成声学token）。Detokenization策略包括分层生成粗细token、解决实时输出问题等。研究发现离散token比连续向量更适合语音生成。值得注意的是，纯语音训练效率低，反向利用强大的文字模型作为基础来构建语音模型成为新趋势。当前语音模型已能实现语音输入输出，并支持预训练、监督微调和强化学习等训练流程。

2025-09-08 13:31:03 1294

原创【李宏毅机器学习2025春】笔记——9.模型融合

模型融合通过Task Vector实现多技能整合：1）能力叠加采用向量相加，如融合代码生成与评价模型；2）能力消除通过向量相减，如去除脏话生成能力；3）类比迁移利用向量关系实现跨任务学习，如专业领域语音识别。融合效果取决于参数独立性——当不同任务共享关键参数时可能失败，理想情况需任务参数互不干扰。实验表明，该方法在保持原能力的同时扩展新功能，但需注意参数冲突问题。

2025-09-08 13:25:10 1059

原创【李宏毅机器学习2025春】笔记——8.模型编辑（Model Editing）

本文介绍了模型编辑(Model Editing)的概念、评估维度和常见方法。与后训练(Post-training)不同，模型编辑旨在植入特定知识而非培养技能。评估包括可靠性(Reliability)、泛化性(Generalization)和局部性(Locality)三个维度。方法分为不修改参数（如IKE上下文编辑）和修改参数两类，后者又包括人工决定编辑（如ROME定位修改）和AI学习编辑（如Hypernetwork和MEND优化梯度）。这些方法通过不同方式实现对模型知识的精确更新，同时保持其他知识的稳定性。

2025-09-07 12:30:39 980

原创【李宏毅机器学习2025春】笔记——7.DeepSeekR1这类大型语言模型是如何进行深度思考（Reasoning）的？

本文探讨了大语言模型（LLM）推理能力的来源及优化方法。首先分析了当前主流"深度思考"模型的推理特点，包括验证、探索和规划等过程。然后详细介绍了四种提升推理能力的方法：1）思维链（CoT）技术；2）引入验证机制（Verifier）；3）模仿学习（Imitation Learning）；4）强化学习（RL）。特别强调了DeepSeek-R1模型的开发过程，展示了如何结合这些方法打造推理能力强的模型。文章还指出过长的推理链会降低效率，提出了Chain-of-Draft等优化方案来控制推理长度

2025-09-07 12:25:21 2216

原创【李宏毅机器学习2025春】笔记——6.生成式人工智能的后训练（Post-Training）与遗忘问题

本文探讨了生成式AI在后续训练（Post-Training）中面临的关键问题——灾难性遗忘（Catastrophic Forgetting）。研究发现，当通用大模型针对特定任务进行微调时，虽然新任务能力提升，但原有能力和安全对齐性会显著下降。通过实验分析，作者验证了LoRA方法虽能缓解遗忘但会降低学习效果，而"经验回放"（混入少量原始训练数据）被证明是最有效解法（仅需5%数据）。研究还提出了两种衍生方法：释义训练（Paraphrase）和自我输出选择（Self-Output），后者在训练

2025-09-06 12:37:07 1342

原创【李宏毅机器学习2025春】笔记——5.大型语言模型训练方法“预训练-对齐”（Pretrain-Alignment）的强大与极限

本文探讨了大型语言模型的训练方法，重点分析了预训练-对齐的两阶段过程。研究发现，对齐阶段所需数据量少但质量要求高，通过知识蒸馏和强化学习能显著提升模型性能。预训练阶段需要海量数据（约15T token），数据多样性和质量比重复训练更重要。实验表明，对齐前后模型行为差异主要源于少数关键token的变化，简单的概率调整即可大幅改善输出。文章还指出，预训练中不干净数据会留下难以清除的参数影响。总体而言，对齐阶段能有效激发模型潜力但难以学习新能力，而预训练的数据质量直接决定模型上限。

2025-09-06 12:33:21 1067

原创【李宏毅机器学习2025春】笔记——4.介绍Transformer的竞争者们

本文探讨了Transformer架构的替代方案，重点比较了RNN和Self-Attention两种方法。Self-Attention通过并行计算实现高效处理，但存在计算量和内存需求大的问题。RNN则通过状态传递实现序列建模，经简化后可转化为Linear Attention。文章详细分析了Linear Attention的运作机制及其改进方法，如引入Gated Retention机制解决记忆固化问题。最后指出Mamba是目前唯一在性能和推理速度上全面超越Transformer的Linear Attention

2025-09-05 13:40:39 1201

原创【李宏毅机器学习2025春】笔记——3.语言模型内部运作机制剖析

本文探讨了大型语言模型的内部运作机制，主要分为四个部分：1）单个神经元的功能和局限性；2）一层神经元形成的功能向量及其识别方法；3）通过简化模型建立"模型的模型"；4）利用残差连接（Residual Connection）实现思维透明性分析。文章详细介绍了如何通过数学方法识别功能向量，使用稀疏自编码器（SAE）优化向量提取，以及采用"模型剪枝"（Purning）和"补丁范围"（Patchscope）等技术来解析语言模型的工作原理。这些方法为理解神经

2025-09-05 13:30:34 1131

原创【李宏毅机器学习2025春】笔记——2.AI Agent

AI Agent是一种能够自主设定目标并采取行动的人工智能系统。本文首先介绍了AI Agent的基本原理，包括其自主决策特性和强化学习（RL）与大语言模型（LLM）两种构建方式。LLM通过文字转换实现更灵活的行为调整，突破了传统回合制交互的限制。随后，文章剖析了AI Agent的三大核心能力：经验学习机制通过记忆模块优化决策效率；工具调用能力利用Prompt工程实现多功能组合；规划能力则通过Tree Search和World Model等方法提升决策质量。文章还探讨了AI在使用工具时的判断逻辑和常见问题，展

2025-09-04 13:44:56 2374

原创【李宏毅机器学习2025春】笔记——1.一堂课搞懂生成式AI

本文系统介绍了生成式人工智能的技术原理与发展趋势。课程从生成式AI的行为特征切入，对比了传统AI与当前ChatGPT等模型在"思考"过程上的差异，并探讨了AI Agent这一未来发展方向。核心部分详细解析了生成式AI的运作机制，包括token化处理、概率生成策略、深度学习网络架构（特别是Transformer模型）等关键技术。同时阐述了模型的训练方法、参数优化过程以及分类问题的处理方式。最后讨论了AI能力扩展的两种途径：基于提示的即时学习和参数微调的终身学习，并指出模型编辑等技术的潜在价

2025-09-04 12:52:49 2626 1

RichardSchoolbag的博客