- 博客(64)
- 收藏
- 关注
RSS订阅原创 pytorch 参数冻结 parameter-efficient fine-tuning
否则即便没有需要更新的参数，其layer的梯度也回传，效率低。框架：pytorch （version 1.11.0)3. 如果不传递参数的层，记得前向操作是要设置。目标：在网络中冻结部分参数进行高效训练。来找到未使用的变量。ps. 好像也可以通过在。
2024-08-26 21:21:26
494
1
原创 springer 在线投稿编译踩坑
因为Springer模板重新定义了caption的格式，而本文使用了subfig这个包，因此会覆盖掉caption的预定义，因此，在usepackage时禁用掉caption定义就行。，只保留与编译有关的文件。补充材料里需要的图也要删掉，因为补充材料直接以pdf格式上传，不需要图文件。\bmhead标签同\subsubsection时一个级别的，相当于\section中直接添加了\subsubsection。编译成功后，将以超链接的形式，出现在最后一页。文件，将对应参考文献格式下的条件语句进行修改，以。
2024-06-14 23:45:58
2305
1
原创 利用ssh远程安装显卡驱动
远程另一台机器----一台有图形界面的pc机，以更新驱动。在系统的软件更新里，可选的驱动更新版本不满足要求。在终端里用ppa源更新驱动版本也没有可用的。（看起来）只能手动下载驱动更新。但这种方法中途需要关闭图形界面，担心远程失效。感觉如果使用向日葵的ssh远程，其实不占图形界面。那么使用传统的方法（手动进tty模式）应该也能顺利安装？向日葵的ssh功能进行远程，还是在终端里手动更新。更新过程见下（由chatgpt4o提供）。ps: 这一操作完成后，好像就不能进入图形界面了。
2024-05-31 17:24:55
758
原创 torch.nn.CrossEntropyLoss 中参数设置
背景知识：给定一个batch的预测分数(softmax归一化后)ppred∈RB×Cppred∈RB×C，与其真值标签(one-hot)pgt∈RB×Cpgt∈RB×C. 其中，BBB为batchsize,CCC为类别总数。那么，其中样本bbblossbpgtb∑ci1Clogpgtbcippredbcilossbpgtbc。
2024-01-25 14:10:45
1968
1
原创 pytorch dropout 置零 + 补偿性放缩
具体来说，如果有一个神经元的输出值为 x 并且你应用了 dropout 操作（设定概率 p），那么在训练期间，这个值 x 有 p 的概率会被置为 0，而有 1-p 的概率会被乘以 1 / (1 - p)。为了确保期望输出在训练和测试时保持一致，当应用 dropout 时，被保留的元素会按 (1 / (1 - p)) 进行缩放，其中 p 是 dropout 的概率。例如，假设 p=0.5，则有一半的机会让 x 变为0，而另一半的机会让 x 变为 2x（因为 1 / (1 - 0.5) = 2）。
2023-11-02 10:54:28
964
原创 latex subsection 第一段 首行取消缩进
进行竖直方向的缩进，调整内容行与\subsection title的行间距。需求：在\subsection 标题下的第一段，取消首行缩进。, 即可解决首段无法取消缩进的问题。对于增加的空行，再额外利用。增加一个空行，使有效内容行变为第二行，然后对其使用。环境：IEEE 模板。
2023-09-25 16:22:31
2266
原创 pytorch/tensorflow 直接给张量中的某个位置的值赋值，操作不可导。
参考：https://github.com/hadjisma/VideoAlignment/blob/master/d2tw/smoothDTW.py#L44。问题：给一个tensor A中[i,j]，赋值p。解决方案：通过引入一个额外的mask实现。ps: 没debug, 看起来是对的。可能会导致值覆盖，操作不可导。
2023-08-29 12:01:11
1360
原创 pytorch tensor 扩充一个维度，避免使用unsqueeze()
避免使用Ps.unsqueeze()，尺度扩充后可以直接进行计算，无需多一行操作。（算是个trick?pytorch 将tensor膨胀出一个额外的维度（unsqueeze()的功能）在需要膨胀（本来不存在的维度上）用。
2023-07-26 13:57:26
175
原创 macos vscode ssh 远程服务器配置报错
vscode软件安装完成，需求是用vscode客户端ssh服务器。进行普通的配置（还没配置免密登陆，需要手动敲入密码）时报错。VSCODE: 版本: 1.78.2 (Universal)解决后，重新连接时多了一步Remote系统选择。解决方法：删掉远程服务器上的文件夹。该文件夹已经存在，所以无法创建。#具体错误忘截图了，大意是这样。远程服务器中无法创建文件夹。
2023-05-30 19:18:30
1513
原创 macos中卸载 vscode
4.2 如果启动台有vscode的icon，直接拖到垃圾桶。macos中卸载 vscode。4.1 terminal中执行。
2023-05-30 18:14:49
2319
原创 macOS visual studio code 没有读写权限 检查更新报错
下载的visual studio code 适配macOS 10.11+ darwin 版本的，安装时会自动询问是否要copy到 application中，copy到application后自动获得磁盘读写权限。而13.0系统中，下载到Downloads，安装后不会询问是否要copy到application里，默认被安装到Downloads下，所以没有读写权限。visual studio code 检查更新，报错，visual studio code没有磁盘读写权限。实际上我第一次执行的时候，会报错。
2023-05-30 18:08:08
1169
原创 shell 脚本
表示要等待上述所有并行操作完成后，才能继续执行下面的语句。直接写在第一行，声明环境，（明确编译器？前的执行语句都分配一个线程，各个语句并行处理。脚本内的执行过程需要由传入脚本的变量决定。
2023-01-30 14:25:59
323
原创 RuntimeError：No CUDA GPUs are available
【代码】RuntimeError：No CUDA GPUs are available。
2022-11-25 00:46:01
641
原创 linux设置自动运行程序
说明：前五项为时间控制参数，从第一位到最后一位分别表示: min(0-59), h(0-23) , day of month (1-31), month (jan, feb, mar, apr, …后面的内容分别为执行命令的程序(/usr/bin/python 与程序文件( /home/xxxxx/auto_connect/connect.py)) （详细内容可参见。定时指在固定的时刻执行（比如：每月1号01:00执行一次），或按照一定的时间周期执行（比如：每小时执行一次）。
2022-08-22 21:06:15
897
原创 nvme盘 实时温度查询及警告温度查询修改
一些参考资料显示，如果超过预设温度，硬盘会主动降低读写速度，以达到降温、保护电路的目的。nvme盘工作时温度如果过高会伤害硬件，所以一般设置了警告温度，当超过阈值时会主动降低读写速度以达到降温的目的。为16进制的开尔文温度，开尔文温度-273=摄氏度，因此此处为85摄氏度。为要设置的温度，此处为16进制的开尔文温度，开尔文温度-273=摄氏度。字样，（看起来）并没有降低读写速度，甚至超过阈值后，温度还在缓慢上升。在linux系统中，查看/修改 nvme盘的警告温度。的，因此如果要真的达到警告温度，那么。..
2022-08-16 16:45:27
4075
原创 vim字符串全局替换
但如果替换字符或被替换字符为路径时（含有。需求：对文档中的指定字符串进行全局替换。注：此处的字符串分隔符使用了。可以有效避免符号混用。
2022-08-16 10:52:37
2889
原创 pytorch 统计指定维度上的元素数目 torch.size numel
对给定的tensor,获取其指定几个维度上的张量元素数目。类型时，返回该tensor的元素数目；为统计元素数目的函数，当输入为。
2022-07-19 18:39:55
1568
原创 for + else
p ython中，for循环可以搭配else使用，以监测跳出循环的状态。例如：for i in range(N): if i < 5 : break else : print('i %d ' % i)如果在break中跳出循环，那么不进入else；如果没有在break中跳出循环（完整的遍历了所有i，自然地结束了for），那么就进入else。...
2022-04-29 09:57:42
190
原创 pip mirror tsinghua
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple cvxpycvxpy: package name
2022-04-18 17:08:43
630
原创 pytorch 计算cosine余弦相似度
import torch.nn.functional as FF.cosin_similarity(a,b,dim=1)沿着dim维度对a,b两个tensor计算余弦相似度。由于dim属性的存在，使得a,b两个tensor可以为任意维。
2022-04-18 11:34:56
2641
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人