- 博客(51)
- 收藏
- 关注
RSS订阅原创 SGEMM 单精度矩阵乘法
在文章开始之前，读者需要对 GPU 架构理解，这里只做简单的介绍。有以下三部分：线程（Thread）：是 GPU 上并行执行的最小计算单元，每个线程执行特定任务（如处理数组中的一个元素）。线程块（Block）：是一组线程的集合，块内线程可通过共享内存通信和同步，且执行相同的内核函数代码。网格（Grid）：是更高层次的组织单元，由多个线程块构成，网格中的线程块可并行执行，但块之间相互独立（无共享内存，无法直接同步）。
2025-11-24 16:09:58
549
原创 Transformer架构类型
例如：输入 “今天天气很好，我想”，生成 “去公园散步” 时，“去” 只能关注 “今天天气很好，我想”，“公园” 只能关注前面所有内容，确保续写符合逻辑。特点： 每个编码器层中的自注意力无因果掩码，允许序列中的每个 token 自由关注 “所有位置的 token”（包括前面和后面的），从而完整理解上下文语义。在实际应用中，模型无法提前知道未来的信息。为何只有这一种： Encoder-Only 架构的核心是 “理解输入序列的全局语义”，不需要生成新内容，因此只需建模序列内部的双向依赖，无需与其他模块交互。
2025-11-20 20:27:35
1022
原创 大模型参数量计算方式
单个 Transformer 块的参数量为：Vh(嵌入层) + 4h²（自注意力） + 8h²（MLP） + 4h（LN） = 12h² + Vh + 4h（一般忽略）l层Transformer结构可训练参数量为 $$l(12h^2)+Vh$$
2025-11-20 20:26:40
307
原创 Attention 变体
文章摘要： 本文系统分析了四种注意力机制改进方案：NSA（原生稀疏注意力）、MLA（多层潜在注意力）、MQA（多查询注意力）和GQA（分组查询注意力）。NSA通过KV序列稀疏化降低长上下文计算成本；MLA采用低秩压缩技术减少KV缓存；MQA通过共享KV参数提升效率；GQA则在MQA基础上分组平衡效率与特征多样性。特别指出NSA与MLA分别作用于不同层次且可互补，MLA通过潜向量压缩KV缓存但需额外处理位置编码问题。这些改进均面向推理优化，在计算复杂度、内存占用和模型性能之间寻求平衡。
2025-11-20 20:25:55
926
原创 优化器介绍——从Adam到Muon
模型接收输入数据，逐层计算并生成输出。这个过程会得到一个预测结果，然后将预测结果与真实标签进行比较，计算出损失函数 L(θt) 的值。：利用链式法则，从损失函数开始，逐层向后计算损失函数对模型参数的梯度∂L(θt)。：利用前面计算出的梯度，根据特定的优化器算法来更新模型参数。形式化地：$$\partial L(\theta_t) \rightarrow h(\partial L(\theta_t))$$（ h 代表一种优化器算法）
2025-11-20 20:20:48
732
原创 acm overleaf template 怎么选择编辑
要投稿acm 一看这么多文件 头都炸了 在网上翻阅半天也没什么有用的信息 只能自己记录一下了。总结来说 如果你不知道该选哪个 就选第一个authordraft。其实就是给了一个模板的不同编译方式。根据后缀不同可区分为。
2025-03-31 16:59:38
386
原创 mac下的/usr/local/etc/nginx/nginx.conf
【代码】mac下的/usr/local/etc/nginx/nginx.conf。
2025-02-16 22:39:07
132
原创 VM iOS Xcode编写程序怎么配置
网上大多数的教程已经很清楚了，只是安装之后没法正常去app store下载软件。版本：macOS Sonoma 14.3。不需要登陆苹果商店即可下载软件，
2024-12-10 10:07:23
149
原创 Cursor免费使用
在 MacOS/Linux 中，请打开终端；在 Windows 中，请打开 Git Bash。部分电脑可能会误报毒，需要关闭杀毒软件/电脑管家/安全防护再进行。# 双击 cursor-vip_xx_xxx.exe。# 双击 cursor-vip_xx_xxx.exe。方式1：通过 ghp.ci 代理脚本。方式2：通过 GitHub 脚本。页下载对应操作系统的二进制文件。方式3：手动下载二进制文件。
2024-12-10 10:04:31
783
原创 docker安装python3.8步骤
注意：若提示 wget: not found，执行 sudo apt-get install wget 即可。之前找到过教程，但是不知道为啥再次找的时候，没了，花了很多功夫，感觉以后应该经常用的，索性写一个记录吧。切换到 /usr/local 目录，将下载的安装包存放在此目录里。切换到解压后的 Python-3.8.12 目录下。官网下载地址，例如版本3.8.12。（4）创建python3软链接。创建 python3 文件夹。
2024-11-27 17:26:28
646
原创 tplink突然搜索不到信号
最近宿舍的路由器不太稳定，大概每隔一个月会突然搜索不到信号，解决办法：断电后，reset，之后重新配置一下拨号上网即可。
2024-11-18 22:00:04
672
原创 UltralSO 刻录进程失败! LBA: 68864 设备写入错误 121. 建议格式化 盘后再试.
当时忘记截图了，balabala报一串错误。试过开管理员权限使用ultralSO 还有更换usb口都不行。u盘格式化的时候，把分配单元改的大一点就好了（默认128k，我用的是512k）
2024-11-17 21:29:23
1112
原创 git push -u origin master fatal:无法访问‘https://github.com/nadavbh12/VQ-VAE.git/‘: Failed to connect t
在第一次push代码的时候发现报错之前明明指定过要发的仓库。
2024-09-11 10:14:51
385
1
原创 拯救者y9000p外接显示器黑屏
一开始会出现偶尔黑屏的情况，短则一两秒，长则五分钟。开始以为是屏幕或者是hdmi线的问题。后来网上查，发现可能是联想自带的XRite颜色校准器。如果不需要该软件可以设置成为开机禁用，这样暂时就没问题了。
2024-09-08 22:49:39
2513
原创 飞书怎么关联任意两段话
最近开始用飞书记文档，体验实在是非常的丝滑，对我来说感觉没有找到更好的竞品了。废话不多说，接下来简单介绍一下怎么关联任意两段话吧。我想要将蓝字关联到最下面的一个段落，先选中最下面的段落，然后选择 复制选区链接。接着，选中我想要加入链接的地方，把链接复制过去就完成了。首先说明，关联可以单向，也可以双向。
2024-08-26 00:05:16
1853
原创 全战三国与Amadey病毒
某天晚，本人突发奇想从外网上体验一下全战三国（全面战争：三国）的可玩版本（没玩过全战系列，听说三国版是个半成品，打算先体验一下再考虑入正版。国内网站找到的资源：1.53的版本闪退，1.71的版本没有学习版），突然不小心中了人生中第一个电脑病毒。。。说来也奇怪，下载的这个病毒与游戏本体相差甚远（11MB和19GB），我记得压缩包里一共包含三个文件cred64.dllclip64.dllsetup.exefig1 已经被删除的压缩包。
2024-02-16 08:04:13
1339
原创 mathtype7.4
先按照正常的安装走一遍，然后再点CRACK的那个exe，ps最好按照默认程序装，我第一次自定义的，但是安装失败了，不知道是不是之前6.9的安装进程没关。链接：https://pan.baidu.com/s/10ndXxSv8LK6kqf04zW7yRA。--来自百度网盘超级会员V5的分享。
2024-02-15 06:41:25
5832
1
原创 vscode copilot怎么去掉提示代码（ghost text or incline completion）
原因：最近在刷题，被这个提示烦死了，记录一下怎么关掉，防止将来需要开启找不到了XD.2.输入preferences: open usr settings找到如图第一个。ps直接在extension里disable不行呢 不知道为啥。1.直接ctrl+shift+p召唤设置。3.去掉这个方框的勾选。
2024-01-29 06:46:56
12626
8
原创 mathtype的行中的公式不对齐
在用mathtype在行中插入公式时，会随机出现对齐和不对齐的情况，如下图。需要选择不对齐公式所在行， 在菜单栏中找段落，取消该选项。接着在中文版式中，将文本对齐方式改为居中即可。根据实验，用格式刷的方式没有作用。
2024-01-17 19:13:29
866
原创 已解Conpiled with WITH_GPU, but Error: (External) CUDA error(100)， no CUDA-capable device is detected.
里面的use_gpu改为True即可。找到路径下的train.py 文件。
2023-11-04 22:53:18
338
原创 （已解）copyfile.exe : 无法将“copyfile.exe”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再试一次。所在位置
Suggestion [3,General]: 找不到命令 hello.exe，但它确实存在于当前位置。默认情况下，Windows PowerShell 不会从当前位置加载命令。如果信任此命令，请改为键入“.\hello.exe”。说明：原本是想实现通过在命令行输入 copyfile.exe text.txt new.txt，用C++实现复制文件的功能。改动后需要输入 .\hello.exe text.txt new.txt。所以说一般的可执行程序的名称是和vs左边列表的名称保持一致才能运行。
2023-09-02 13:57:32
393
原创 paddleyolov3训练改为gpu训练
之前在网上paddle官网查到的方法是在./tools/train.py里将use_gpu改为ture，但是试了之后发现不行，后来以为缺少cudnn，没法调用gpu，就去装cudnn，后来学长又推荐直接docker一步到位，就想着熟悉一下也挺好，结果忙了半天，两边都是因为没法解决的error放弃了。在./config/runtime.yml的use_gpu的false改为ture。之前的机子重装了下系统，结果发现默认成cpu跑，voc要跑个六十多天。
2023-07-04 10:24:07
472
原创 Proteus+FPGA项目设计联合仿真
本项目包含proteus仿真arduino，fpga控制pwm，solidworks制图，web网站。项目简介：主要包含温度传感器，声光模块，lcd显示屏，直流电机，烟雾传感器，红外线传感器。这里先post一个arduino代码。（由于代码是自己写的，所以注释废话啥的比较多，见谅。由于自己在做项目的时候发现网上的有关资源少得可怜，特写此博客，希望能够帮到后来人。注：以上内容仅供参考，如有因为抄袭而引起的事件，本人概不负责！solidwork源文件。solidwork示例。
2023-05-31 09:27:01
1891
原创 Word页眉设置不同的文字，但是页码按照顺序不变
注意：在设置最右边的页码数字 1 时，不要直接用手敲，（word中很多带有顺序属性的数字鼠标左键单击数字本体时会整体变灰，和正常的选中微微不同。如果有同学发现第三页的章节三还是章节一，那么就需要再选中章节三的页眉，重复第四步的操作就可以了。显示分页符的工具打开，这个非常重要，方便后续观察调整分页符。3.接下来是重点，请注意。需要在上一页，也就是第一页中光标选中最后一行的最后一列。然后把章节一改成章节二，然后就基本就大功告成了。中，选择一个合适的页眉，笔者选择三栏。首先，在文件-选项-显示中把。
2023-04-13 17:45:25
4981
2
原创 linux更改文件的读写执行等权限
目录：读包含在目录中的文件名称（r）、写信息到目录中去（增加和删除索引点的连结）、搜索目录（能用该目录名称作为路径名去访问它所包含的文件和子目录）s 在文件执行时把进程的属主或组ID置为该文件的文件属主。（4）有目录的写权限，可以创建、删除或修改目录下的任何文件或子目录，即使使该文件或子目录属于其他用户也是如此。-rwxr-xr-x (755) 只有所有者才有读，写，执行的权限，组群和其他人只有读和执行的权限。-rwx–x–x (711) 只有所有者才有读，写，执行的权限，组群和其他人只有执行的权限。
2023-04-12 16:53:33
6015
原创 linux查看编辑文件权限
目录：读包含在目录中的文件名称（r）、写信息到目录中去（增加和删除索引点的连结）、搜索目录（能用该目录名称作为路径名去访问它所包含的文件和子目录）s 在文件执行时把进程的属主或组ID置为该文件的文件属主。（4）有目录的写权限，可以创建、删除或修改目录下的任何文件或子目录，即使使该文件或子目录属于其他用户也是如此。-rwxr-xr-x (755) 只有所有者才有读，写，执行的权限，组群和其他人只有读和执行的权限。-rwx–x–x (711) 只有所有者才有读，写，执行的权限，组群和其他人只有执行的权限。
2023-04-12 16:50:14
426
原创 solidworks内部ID不匹配
应该是装配体（多个零部件组合成的整体）的文件名和其中一个零部件的文件名重复了，把装配体文件的名字换一个就好了。
2023-03-15 20:23:09
5007
原创 Error: Top-level design entity “ “ is undefined quartus报错
实际上就是你entity里的名字和module的名字不一致，改成一致即可。
2023-03-04 11:11:54
4433
原创 Collecting package metadata (current_repodata.json): failed
后添加的channel 有更高的优先级， 即在检索软件时，会优先检索更高优先级的channel.网上大多回答都是更换源，但根据他们的操作换源之后还是不行，另外之前在查看源的时候发现。虽然源很多，但是channel_priority为disabled。改回flexible运行成功。可以使用以下方式查看描述。
2023-02-27 18:38:39
1603
原创 错误2不能以方法的方式使用不可调用的“System.IO.Ports.StopBits.One”
根据提示，把System.IO.Ports.StopBits.One（）后面的括号删掉就可以了。最近写C#时，遇到的问题，一般来说（不确定是不是严谨，所以用一般），带括号的都是方法。
2023-02-14 17:00:31
266
原创 STR reason cant fopen解决方案
大概率是路径问题，建议找到cfg/voc.data文件，仔细检查 train names valid backup几个路径，重新找到对应的文件把路径复制下来，不要相信手敲！不然会想我一样花费几个小时找解决方案55555555。如果是win转linux的过程中出现以上错误，可以在网上找到其它解决方案，本文章适合完全在Linux系统中操作并报错的情况。一般情况下是这样（如果是自己训练的数据要相应更改）
2023-01-17 11:17:48
156
原创 Antimalware Service Executable占用内存过高怎么办
Antimalware Service Executable占用内存过高怎么办
2022-12-13 22:02:54
78758
28
Proteus+FPGA项目设计联合仿真（Web）
2023-06-11
Proteus+FPGA项目设计联合仿真(C#上位机)
2023-06-11
Proteus+FPGA项目设计联合仿真（proteus）
2023-06-11
Proteus+FPGA项目设计联合仿真（solidworks）
2023-06-11
Proteus+FPGA项目设计联合仿真（FPGA仿真）
2023-06-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人