Marcus1231的博客

摘要 激活函数的优化目标主要包括训练稳定性、计算效率和任务适应性。训练稳定性涉及导数特性（防止梯度消失/爆炸）、零均值输出和饱和性控制；计算效率关注数学运算复杂度、导数计算简便性和硬件优化；任务适应性则体现为不同网络架构对激活函数的特定需求（如GELU/Swish适合Transformer，ReLU更适合CNN）。当前优化方向分为两类：一是改进激活函数本身，解决神经元死亡、平滑非线性等问题；二是对FFN结构进行改造，如引入门控机制或混合专家模型（MoE），突破传统"扩展-激活-压缩"的框

深度学习模型调参指南：先做好模型选择与数据清洗，使用预训练模型微调。数据处理需归一化，视觉任务要增强数据。调参核心关注损失函数、学习率、批次大小等参数，建议批次设为16倍数，学习率0.0001（微调）。常用Adam+SGD组合优化，激活函数按层选择。正则化推荐Dropout（≤0.5），BN层需谨慎使用。调参要单变量调整并记录，通过验证集loss和自定义规则筛选最优参数。注意训练与验证表现的差异判断模型能力。