E_D_Unicorn的博客

原创 CS336 homework1 transformer

比如 [ [1,2,3],[4,5,6] ]在第一个维度就是14,25,36做归一化，在第二个维度就是123,456做归一化。input 为Tensor[…,d_model],output 为Tensor[…,d_model]。这里W1,W2,W3都是线性变换，因此直接调用Linear。对全部元素都做激活操作，沿着最后一个维度做线性变换。，对这个两个元素的小向量乘以矩阵，总览：两两一组进行编码。

原创 CS336 homework1 get_tokenizer

正则中的 () 是 “捕获组”，作用是：在执行分割时，不仅按匹配到的内容分割，还会把 “被匹配到的内容（即特殊 token）” 保留在分割结果中。定义了类的实例属性，相当于接受参数，并建立一个属于实例的参数集合。这些参数都可以在下面使用。其中key：排序依据 lambda：自定义函数 x：escaped里的元素 -len(x)：按照x的长度降序排序。只需要按照merge的顺序scan一遍即可，merge的顺序可以保证全部的匹配。类方法：@classmethod 返回的是一个类的调用。

原创 CS336 homework1 run_train_BPE

初始化vocab，为0~256的byte(encode)，加上special token转化为的bytes(一串byte)。转义所有的special tokens，以便在正则表达式中使用，因为里面有可能会有|，而正则表达式里的|是有具体含义的。找到出现频率最多的pair，对于每一个pretoken的词，里面进行搜索，如果遇到了。使用字典建立合并的索引，key为pairs，value为出现的频率.对每一个文本段预分词，此时依然是UTF-8。初始化，pair：freq的字典。以UTF-8的格式读入文本，

原创 ROME：model edit

建模：将MLP模块视为键值存储器。定位：通过因果追踪等方法找到负责存储特定事实的MLP模块。编辑：在该模块的权重上施加一个精心设计的“秩一更新”，直接写入新的键值对。效果：实现对模型知识的精准、高效、可泛化的修改。这种方法对于纠正模型错误、更新过时信息、注入新知识等应用场景具有巨大潜力。

原创 什么是PCA？

核心目标降低数据维度，最大化保留原始数据的信息（方差）核心逻辑寻找正交的 “主成分”（原始特征的线性组合），按信息量排序后选择前 k 个关键步骤标准化→协方差矩阵→特征值分解→选主成分→投影适用场景线性结构数据、降维加速、可视化、去冗余不适用场景非线性数据（如图像、文本）、需要强解释性的场景简单来说：PCA 是 “高维数据的压缩工具”—— 它用更少的 “新特征”，装下原始数据的 “大部分信息”，但代价是失去了部分解释性和处理非线性数据的能力。

原创 如何理解SAE？

核心组件作用编码器压缩输入数据，生成低维的 “隐藏向量”解码器还原 “隐藏向量”，输出与输入一致的数据稀疏性约束强迫隐藏层少数神经元激活，避免冗余，学到本质特征损失函数还原损失（输入输出差异）+ 稀疏惩罚（L1 或 KL 散度）稀疏自编码器是一种 “强迫自己‘抓重点’的自编码器”—— 它不浪费神经元去关注无关信息，只聚焦数据最核心、最有价值的特征，因此在无监督学习、特征工程中非常实用。

原创 ICS大作业论文2024年春

1.1.1 P2P）过程在Linux中，最开始程序员通过键盘编辑创建了hello.c程序（Program），但这个程序到进程（Process）还有以下的漫长过程。hello.c文件要通过编译系统变换为hello可执行程序，具体过程如图1所示。首先hello.c文件经过cpp预处理器得到文本文件hello.i，之后经过ccl编译器生成汇编程序hello.s，接着再经过as汇编器生成可重定位目标程序hello.o，最后经过ld链接器，与其它用到的库函数可重定位文件链接，生成可执行程序hello。

原创 哈工大计算机组成原理实验预习（翁瑞2024）持续更新（实验一运算器原理）

原创 cuda驱动安装

点击"设置"点击顶部栏中“附加驱动”（等待一会，他会搜索出本台设备可用的驱动）选择了470点击应用更改进行安装检验方式：终端中输入 nvidia-smi 即可查看驱动看驱动与安装的是否一致。