- 博客(5)
- 收藏
- 关注
RSS订阅原创 transformer源码
本文详细介绍了 Transformer 模型的原理与实现过程，旨在帮助读者从零开始理解并手撸一个基于注意力机制的 Transformer 模型。文章首先概述了 Transformer 的整体结构，包括输入层、编码器、解码器和输出层的核心作用；随后按模块拆解，依次讲解了各组件的原理与代码实现：输入层通过词嵌入（Embeddings）将词索引转换为向量，并结合位置编码（Positional Encoding）标记词的位置信息；编码器由多个编码器层组成，每个层包含多头自注意力子层（捕捉词间关系）、前馈全连接子层（
2025-12-03 02:48:37
565
原创 【模型压缩】
模型压缩技术主要包括量化和蒸馏两大类。量化通过将高精度浮点数转换为低精度整数（如FP32→INT8）来减小模型体积和提升推理速度，包括动态量化（仅量化权重）和训练后量化（PTQ，量化权重和激活值）。蒸馏则将复杂教师模型的知识迁移到简单学生模型中，分为硬标签蒸馏（直接使用教师预测类别）和软标签蒸馏（利用教师输出的概率分布）。这些方法能在精度损失可控的前提下，显著降低模型资源消耗，适配边缘设备等场景。
2025-11-29 23:46:01
539
原创 Tomcat源码
Tomcat源码相对 spring 这类框架来说，可读性并不高，本次源码解析 主要把重点放在各组件功能和关系上，源码阅读过程会涉及到 多线程/nio/scoket 希望在阅读文章之前，你可以对这些概念有了解。
2024-09-10 00:49:44
1463
原创 Spring Boot源码解析
本章内容，主要会带大家了解下Spring Boot自动注入原理，以及相对于Spring有哪些细节上的改变，不了解Spring源码的同学建议先去了解下，才比较好理解本文到这其实Spring Boot的自动配置原理就已经完成了，将自动配置类加载为Bean定义后，实例化Bean对象的过程就和Spring一致了在finishBeanFactoryInitialization(beanFactory)方法里，详情可以去看spring源码。
2024-05-30 00:29:42
1100
原创 Spring源码解析
本文主要在讲述spring源码的 IOC AOP部分，包括从Bean定义 到产出对象 循环应用解决 AOP代理等问题，可能会有一定难度，尽可能跟着走一走代码帮助理解，仅需建一个Spring项目跟着debug即可，后续会更新其他技术内容，一方面为自己梳理下技术体系，另一方面希望可以帮助到更多的人，当然如本文有遗漏或疏忽 欢迎指正
2024-03-20 00:53:28
1484
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人