- 博客(5)
- 收藏
- 关注
RSS订阅原创 深入理解位置编码：从正弦/余弦 1D 到 2D 频率嵌入
本文探讨了Transformer模型中的位置编码机制，重点分析了正弦/余弦位置编码（1D Frequency Embeddings）的原理及其在图像领域的二维拓展（2D Frequency Embeddings）。文章首先解释了位置编码的必要性——解决Transformer自注意力机制的排列无关性问题。然后详细阐述了1D正弦/余弦编码的数学公式、设计巧思（频率多尺度化、相位差异捕捉）和代码实现，并指出其能通过三角恒等式隐式学习相对位置关系的优势。最后，文章将这一机制扩展到二维空间，介绍了两种2D位置编码策略
2026-08-11 18:16:01
387
原创 ResNet50 深度解析：从残差思想到手写数字识别实战
ResNet通过跳跃连接解决深度网络退化问题，将非嵌套函数类转变为嵌套结构，确保深层网络性能不低于浅层。残差块设计让网络更容易学习恒等映射，优化难度降低。ResNet50采用瓶颈结构平衡深度与计算量，成为计算机视觉的经典架构。在手写数字识别任务中，定制化ResNet50结合传统图像处理技术，实现了高效的多数字检测与分类，展示了理论到实践的完整应用。
2026-08-09 23:20:51
334
原创 《Image Clustering with External Guidance》：TAC框架的动机、数学推演与源码解析
本文提出TAC（文本辅助聚类）技术，通过引入文本语义先验突破纯视觉聚类的信息瓶颈。算法核心流程包括：1）图像粗聚类获取初始类簇；2）计算图像语义中心；3）基于WordNet词库计算名词-语义中心的匹配概率；4）过滤低相关词构建精炼词库；5）通过跨模态相互蒸馏、置信度和熵损失实现多模态对齐。该方法利用文本常识引导视觉特征学习，有效解决了相似类别（如柯基与柴犬）的区分难题，显著提升了聚类性能。关键创新在于建立图像簇与文本名词的概率关联，并通过三重目标函数实现模态间知识迁移。
2026-08-08 03:01:45
554
原创 Adam详解
本文通过理论推导与代码实践相结合的方式，系统讲解了神经网络训练的核心数学原理。文章首先从线性层的前向传播和反向传播进行数学推导，详细展示了MSE损失函数的计算过程；然后深入解析Adam优化器的内部机制，包括一阶/二阶动量计算和偏差修正原理；最后通过具体数值示例与PyTorch代码对照，验证了理论推导的正确性。这种从数学原理到代码实现的完整呈现，为理解神经网络训练过程提供了清晰的认知路径，特别适合希望深入掌握深度学习底层原理的学习者。
2026-08-07 16:13:44
219
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人