- 博客(2)
- 收藏
- 关注
RSS订阅原创 DNN的“频率法则”学习笔记
摘要： 深度神经网络（DNN）在训练过程中表现出“频率原则”（Frequency Principle），即优先学习目标函数的低频分量，再逐渐拟合高频细节。这一现象源于梯度下降的隐性偏好：在解空间中，模型倾向于先收敛到范数最小（最平滑）的解。通过傅里叶分析可发现，低频分量对应平缓信号，而高频分量对应噪声或细节。频率原则解释了DNN的泛化能力——提前停止能有效过滤高频噪声，保留有用低频信号。此外，激活函数的设计（如ReLU）因低频偏好而难以直接拟合高频突变。该理论为理解DNN的隐式正则化提供了新视角，并启发更高
2025-09-22 00:32:11
1114
原创 《图解大模型：从原理到实战》第一章学习笔记
本文梳理了大语言模型(LLM)的发展历程与技术原理。首先介绍了LLM的核心概念——基于概率预测的语言模型。随后详细解析了文本表示方法的演进：从独热编码、词袋模型到Word2Vec，最终发展为Transformer的动态上下文编码机制。重点分析了两种主流架构：BERT（双向编码器表示）采用掩码语言模型进行预训练，GPT（生成式预训练Transformer）则通过自回归生成实现文本补全。文章还阐述了如何通过指令微调和强化学习将基座模型转化为对话模型。最后指出现代LLM的开发通常包含预训练（学习语言模式）和微调（
2025-09-16 13:48:47
1189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人