trb331617的博客

原创 windows笔记本双系统ubuntu设置

ubuntu 一直运行、不休眠（即使合上盖子也不休眠）

原创 [学习笔记]Transformer技术纵深

除主要模块外，Transformer 模型还应用了 LayerNorm (Layer Normalization/LN， 层归一化),Dropout 和残差连接(Residual Connection)等设计方法，这些辅助模块对提升模型性能至关重要。LayerNorm有助于稳定训练并提高收敛性，其通过归一化输入特征来确保激活的均值和方差一致，从而缓解内部协变量偏移问题，使模型学习更高效，降低对初始权重的敏感性。这促使模型学习更强大的特征，减少对特定神经元的依赖，从而更好地泛化到新数据。

原创 torch.autograd.Function.apply()

apply()是 PyTorch C++ 层的入口。它会创建一个节点（也就是 autograd 图上的反向节点），然后在该节点的上下文ctx下调用你定义的forward，并把输出张量的grad_fn指向这个节点。apply= "建反向节点 → 在该节点 ctx 下以 no_grad 调用 forward → 把输出的 grad_fn 指向该节点"。所以 forward 是被它调用的，但调用之外它还干了一堆把张量挂进 autograd 图的事，从而自动注册反向图。

原创 OPD Reverse KL

在线策略蒸馏（On-Policy Distillation, 简称逆向 KL 散度（Reverse KL, RKL）的公式为。与前向 KL（Forward KL,）相比，逆向 KL 具有 模式寻求（Mode-seeking）的特性。它会让学生模型倾向于只在教师模型概率较高的地方生成文本，从而减少模型产生幻觉（Hallucination）或语无伦次的概率，使生成的文本更加确定和精准。

原创 loss.backward() 和 梯度累积

核心思想：把一个"大 batch"拆成 N 个"小 batch（micro_batch）"，连续做 N 次前向 + 反向但不更新参数，让梯度在p.grad上自然累加；累加 N 次后再做一次。loss = loss / self.accumulated_gradient # ← 先除以 Nloss.backward() # ← 梯度累加到 p.gradif self.step == 0: # ← 累满 N 次才真正更新...累积 N 次 backward → 1 次 optimizer.step。

原创 读取wandb本地缓存文件，并绘制曲线图

【代码】读取wandb本地缓存文件，并绘制曲线图。

原创 lm_head

【代码】lm_head。

原创 【学习笔记】大模型

书，全解深度学习

原创 vllm 0.9.2笔记

【代码】vllm笔记。

原创 深度强化学习

原创 【学习笔记】强化学习从原理到实践

强化学习从原理到实践，李福林

原创 Golang交叉编译到Android上运行

使用adb传输到android手机上运行。android手机上运行结果。go程序：hello.go。查看go编译支持的目标平台。

原创 【学习笔记】图解大模型

词嵌入使我们能够衡量两个词的语义相似度。使用各种距离度量方法， 可以判断一个词与另一个词的接近程度，含义相似的词往往会更接近。词嵌入可以用多种属性来表示一个词的含义。这些属性组合在一起，是将人类语言转换为计算机语言行之有效的方式。可以为不同类型的输入创建嵌入，如词嵌入和句子嵌入，它们用于表示不同层次的抽象 (词与句子)。自回归（auto-regressive），在生成下一个词时，需要使用先前生成的词作为输入。神经网络由处理信息的多层互连节点组成。每个连接都有一定的权重，这些权重通常被称为模型的参数。

原创 【学习笔记】大模型

多头注意力（MHA）、多查询注意力(MQA)、分组查询注意力(GQA)、多头潜在注意力(MLA)激活函数（例如 SwiGLU），以提高模型的非线性拟合能力，捕捉更复杂的模式。缓解深层网络中的梯度消失问题，提升模型训练效率。建模序列中不同词元之间的语义关系。提升训练稳定性并加速模型收敛。提升模型的容量和计算效率。进一步提取特征和语义。

原创 【学习笔记】从零构建大模型

【学习笔记】从零构建大模型

原创 python使用transformer库推理

【代码】python使用transformer库推理。

原创 qemu/kvm学习笔记

qemu/kvm架构。

原创 overlayfs

How containers work: overlayfs

原创 linux /proc/{$pid}/status /proc/meminfo

/proc/pid/status & /proc/meminfo

原创 shell学习笔记

man test。

原创 Linux ELF

Linux ELF

原创 docker镜像制作

docker镜像制作

原创 prometheus+grafana

prometheus+grafana

原创 python学习笔记

python学习笔记

原创 rust学习笔记

rust学习

原创 AES对称加密解密

AES对称加密解密

原创 容器runc

容器runc

原创 安全容器kata runtime

安全容器kata runtime

原创 com.fasterxml.jackson.databind.JsonMappingException: No suitable constructor

com.fasterxml.jackson.databind.JsonMappingException: No suitable constructor

原创 golang小笔记

golang笔记

原创 QA杂货铺

pythonpip TLS/SSL问题references:pip TLS/SSL问题 - 知乎WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is# 确认openssl是否正确安装，发现缺少openssl-devel包rpm -aq | grep openssl# 安装openssl-devel包yum install -y open..

原创 python在内存中处理图片

目录python在内存中处理图片1. 获取gif图片第一帧，添加文字，获取图片的base64和md52. pyplot绘图后，获取图片的base64和md5附1. python2.7 pip安装脚本python在内存中处理图片python 2.71. 获取gif图片第一帧，添加文字，获取图片的base64和md5import requestsimport iofrom PIL import ImageFont, ImageDraw, Image, ImageSeque

原创 leetcode全局变量初始化问题，报错 AddressSanitizer: heap-buffer-overflow on address

结论：leetcode中，全局变量需在函数中做初始化。因为：leetcode“提交”的代码，全局变量定义时做的初始化，可能并没有成功。简单举例：// 报错int a = 0;void func(){ a++; return;}// 正确的做法：在func()中重新对全局变量a做初始化void func(){ a = 0; // 重要 a++; return;}报错信息：==42==ERROR: AddressSanitizer

原创 [书]深入分析Linux内核源代码

内核源码下载：https://mirrors.edge.kernel.org/pub/linux/kernel/http://ftp.sjtu.edu.cn/sites/ftp.kernel.org/pub/linux/kernel/本书基于2.4.16版本Linux运行的硬件基础Linux在启动过程中设置了段寄存器的值和全局描述符表GDT的内容：// FILE: include/asm-i386/segment.h#define __KERNEL_CS 0x10 // 内核代

原创 Linux系统运维

linux运维

原创 [学习总结]自制简易操作系统

Linux中90%以上的代码都是用在资源管理、策略、算法及数据结构等方面。操作系统受制于硬件的支持, 很大程度上它的能力取决于硬件的能力，很多操作都是硬件自动完成的。比如，处理器进入0特权级时, 会自动在任务状态段TSS中获得0特权级的栈地址。因此，要想全面理解操作系统，不仅需要了解上层软件的算法、原理、实现, 还要了解很多硬件底层的内容。 本项目实现的mini操作系统，包含：...

原创 [书]操作系统真象还原 -- 第11、12章 用户进程及调度、系统调用、内存管理

GITHUB:https://github.com/trb331617/os_elephant/tree/master/chapter_11运行截图： 在kernel的main()函数中创建了2个用户进程(分别循环执行a++、b++)，创建了2个内核线程(分别打印a、b) 用户进程的priority和ticks设置为3，内核现成的设置为13。所以，运行结果中，打印更快...

原创 [书]操作系统真象还原 -- 第10章 控制台(信号量, 锁)、键盘(环形缓冲区))

GITHUB:https://github.com/trb331617/os_elephant/tree/master/chapter_10运行截图：1、控制台console// FILE: thread/sync.c/* 信号量结构 */struct semaphore{ unsigned char value; struct list waiters;...

原创 [书]操作系统真象还原 -- 第9章 内核(中断、内核内存管理、内核线程)

GITHUB:https://github.com/trb331617/os_elephant/tree/master/chapter_9运行截图：在内核main函数中创建了2个内核线程，并基于时钟中断实现了线程的调度。代码结构：...

原创 [书]操作系统真象还原 -- 第5章 开启保护模式、开启分页机制

mbr：加载loader，跳转loader：1）调用BIOS中断获取内存大小;2）构建GDT、开启保护模式;3）构建页目录表和页表、开启分页机制;FILE：loader.asm; FILE: c05b_loader.asm; TITLE: 调用BIOS中断获取内存大小; 构建GDT、开启保护模式; ; 构建页目录表和页表、开启分页...