weixin_42896263的博客

原创 pytorch lightning ddp 逆天分配显存方式

弄两卡DDP，竟然有一个卡32G，一个卡2G。我弄了一下午怀疑自己代码没写对。但是这个python进程应该是在py310我的环境下才对吧，然后ps aux| grep 发现怎么也没有这个14730的东西在我名下。我就kill掉了我的任务。发现这个python，没有环境，也不在我名下的python就是pytorch lightning ddp产生的任务。所以差不多就是均匀的显存。但是卡0还是会多一些。

原创 obs录制没有声音

网上教我配置了一堆东西，弄了几个小时没弄好。正常可以参考这个https://zh-cn.echoshare.co/obs-not-recording-audio-desktop-mic/ ，前面所有方法都没有用，然后卸载了，把所有配置都删掉，重新安装。问题出在这个音频编码格式上。默认是AAC，这个是没毛病的。我之前跟一个up主选了PCM 24，这个配置可能和我的电脑不相符还是怎么回事，反正就是没有声音。所以如果别人的配置都试过了，可以试试这个配置。

原创 列表初始化影响子列表加入元素

我才发现用[[]]*4的方式和[[] for i in range(4)]的方式去初始化列表是不一样的。这个问题导致我代码出现了难以发现的错误。简单来说，第一种方式会导致在往第一个子列表中加入元素时，同时往所有子列表中加入元素。这样的错误导致我预处理训练数据时标签和数据对应错误，从而训练失效。所以还是需要第二种方式去初始化列表。

原创 只要一招解决python目录路径依赖问题

其实没有必要搞的很麻烦，去记忆怎么导入不同路径的文件，或者是把目录打包。我们在写项目代码的时候，只需要能在项目里面能用python命令去运行成功就行。那么我们导入文件的时候就直接把项目的根目录放进来，这样就能随意的调用项目下面的所有文件了，不需要再用相对的关系去做那么复杂了。比如我想在任意的一个文件夹下允许一个py文件。但是在这个py文件调用了其他文件夹，或者是上上级文件夹里面的文件。这时候直接调用是做不到的，这是因为系统路径不对。那么代码这里直接添加项目根目录。这样就能随意的调用项目下的所有文件了。

原创 第二次上传arxiv卡了一个晚上

主要是nips这个格式会用到natbib，给我卡住了，用 \usepackage[preprint,nonatbib]{neurips_2024} 成功解决。再就是所有的图片只能用一种格式，建议一开始就只用.pdf，又清晰又体积小。

原创 video-chatgpt

list。

原创 单机多卡训练报错NCCL版本有问题

增加环境变量NCCL_SOCKET_IFNAME=eth2。这个不知道什么原因，然后解决方法是。

原创 torch indices x[indices] 内存不足崩溃，python进程锁报错。

看到进程锁，我人都麻了，找了好多天，然后每一行的去看，发现是这里出了问题。这里的X如果很大的话，就会崩溃，所以我们需要分chunk去做。这是会崩溃的代码，会在最后一行崩溃。这是修正后，分chunk去做的代码。

原创 关于EEG转文本工作的善意提醒

【代码】关于EEG转文本工作的善意提醒。

原创 jupyter崩溃OOM，out of memory，jupyter代码写不进去，保存不了。

我的路径在/home/yyang/anaconda3/envs/torch2py310/lib/python3.10/site-packages/tornado/ 打开iostream.py,搜索self.max_buffer_size 在BaseIOStream类中，我们直接把这个设置成10737418240,就是10GB。反正电脑够拽，就造就完事了。然后就查了一下，发现是jupyter用的这个tornado去挂载的网页，这个里面有设置最大的缓存大小，我们要去改一下。

原创 jupyter崩溃进不去，报错module ‘mistune‘ has no attribute ‘BlockGrammar‘

uninstall所有jupyter的包，重新install版本。这是2023年10月14日可以完美安装的包。是python包引起的问题。

原创 latex name中出现换行符\\报错。显示missing insert {之类的。解决方法

我是用address写机构名，不出来名字，所以就在name中去写机构名，但是一直报错。我就找了另一个已中稿的模板的sty文件用起来，然后在address里面写机构名，就解决了。不需要换用其他的编译器如latex，xelatex之类的。

原创 tiny-cuda-nn安装踩坑记录

一开始我没有编译，直接到torch里面搞。要我用pypa去装，这个是misleading的。一定是先把前面的cmake做完了，再弄后面的，这样就不会报错了。用这个命令直接指定到你要用的cuda，就解决了。如果你之前已经build失败过。需要先rm -rf build删除掉你编译过的东西。然后安装https://github.com/NVlabs/tiny-cuda-nn/时cmake说cuda版本不对。这时候设置cuda path什么的其实没有用。首先要把这个repo clone过来。

原创 CUDA-error: device-side triggered的问题所有的报错可能性

第二种就是之前加了torch.cuda.empty_cache()，有可能会报错。虽然还不完全清楚为什么会这样，但是对我来说是这样的。第一种就是你模型用了分类，然后分类的输出和标签的数量对不上。就比如说输出的是0-55，标签是1-56.这样会报错。

原创 信号的能量和方差和功率的关系

因此，信号的能量和方差是两个不同的概念，它们没有直接的数学关系。在某些情况下，信号的能量和方差可能会有一定的关联，例如在一个周期信号的一个完整周期内，信号的能量和方差是相等的。但是在大多数情况下，信号的能量和方差是不相等的，因为它们反映了不同的信号特性。需要注意的是，对于一个周期性信号，它的平均功率等于其能量除以一个周期的长度。需要注意的是，信号的方差可以被视为信号能量的一种度量，因为它反映了信号的波动性质。另外，功率和能量还有一个重要的区别是：能量是一个累积量，它代表了信号在整个时间范围内的总能量；

原创 为什么公式里面的字母没有斜体

latex公式中的字母没有自动变斜体，用命令也不行，检查宏包

原创 智能信息处理笔记 遗传算法

介绍了遗传算法和一些示例

原创 jyputer lab远程访问配置

jupyter lab配置

原创 杀掉所有显卡上的任务

杀掉显卡的任务的命令

原创 tmux byobu 屏幕可展示的地方越来越小怎么办？ 几乎是没了，，，

tmux byobu 屏幕可展示的地方越来越小怎么办？或者用命令exit，把所有窗口逐个退出也可以。使用命令：tmux a -d。

原创 pip 换源

windows pip换源，首先查看配置文件放在哪里，在windows管理器中输入 %APPDATA% ,会定位到一个新的目录https://blog.youkuaiyun.com/kc44601/article/details/119653555[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple/extra-index-url=http://mirrors.aliyun.com/pypi/simple/https://pypi.tuna.t

原创 全网最有效，pip坏了怎么办-No module named ‘pip._internal‘

优快云上其他方法都试过了，不管用。新下载一个python，打开这个路径，复制所有文件和文件夹。找到你所用环境下面的这个路径，粘贴，全选替换就好了，非常简单。

原创 移除链表元素de 理解

class Solution: def removeElements(self, head: ListNode, val: int) -> ListNode: d=ListNode(0) d.next=head c=d while c.next: if c.next.val==val: c.next=c.next.next else:

原创 数组初始化的一个问题

https://leetcode-cn.com/problems/valid-sudoku/submissions/做这个的时候发现一个特别奇怪的事情，我在初始化数组时，有两种相同结果的初始方式去做，但是有个就是不对。。。class Solution: def isValidSudoku(self, board: List[List[str]]) -> bool: row= [[0] * 9 for _ in range(9)] col= [[0] * 9

原创 torch用复数训练

这个垃圾torch竟然不能用复数训练。请注意，torch是有复数形式的，在dataset里面是可以用这一数据形式的，但是！！！在模型中是不可以的，在gpu训练时只能用float类型进行训练，所以，我原来【256,999】的数据形状就会变成【256,999,2】这个后面的2就是实部和虚部！！！所以我打算直接把这个当做2通道进行处理，也就是说，把数据形状变成【2,256,999】这样去处理应该就OK。这个最好是在dataset里面进行处理。新建一个数组，把实部和虚部分别放入。然后你还得把数据转成float32的

原创 · RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:

pytorch读取模型训练报错原来是这个model=TasNet()model=nn.DataParallel(model)model=model.to(device)读取的时候，直接把这三行全注释了再load，就????了。model = torch.load(’/home/save_model.pt’)

转载 TensorFlow版本和cuda版本对应关系

版本 Python 版本 编译器 构建工具 cuDNN CUDAtensorflow_gpu-2.6.0 3.6-3.9 MSVC 2019 Bazel 3.7.2 8.1 11.2tensorflow_gpu-2.5.0 3.6-3.9 MSVC 2019 Bazel 3.7.2 8.1 11.2tensorflow_gpu-2.4.0 3.6-3.8 MSVC 2019 Bazel 3.1.0 8.0 11.0tensorflow_gpu-2.3.0 3.5-3.8 MSVC 2019 Baze

原创 NUMPY移动数组的行和列

import numpy as npfrom scipy.ndimage.interpolation import shifta=np.array([[1,2,3,4,5,6], [7,8,9,10,11,12], [13,14,15,16,17,18]] )print(shift(a,(1,0),cval=0))shift函数里面的括号里面的第一个参数是往下移动的行数，第二个参数是往右移动的列数，cval是填充的数字，可以填nan

原创 fft的全频谱到单频谱，理解为什么单边谱的频点个数并不是全频谱点数的一半

原创 matplotlib,pcolormesh,debug

MatplotlibDeprecationWarning: shading=‘flat’ when X and Y have the same dimensions as C is deprecated since 3.3. Either specify the corners of the quadrilaterals with X and Y, or pass shading=‘auto’, ‘nearest’ or ‘gouraud’, or set rcParams[‘pcolor.shading

原创 利用kwargs批量画图，如何初始化多个参数集

问题背景：我想画多个通道的音频的图像，但是在通道数和每个画图参数并不确定的情况下，如果是一个一个去初始化alpha,linewidth等，必然是非常不方便的。所以想用kwargs去简化初始化。这是画图的代码 for i in range(channels): plt.plot(time_array,array[:,i],**kwargs[str(i)])好，那么，大家可以想一下这个kwargs是怎么储存的呢？下面揭晓kwargs= { '0':{

原创 pytorch二分类的程序解释

torch.max(F.softmax(out, dim=1), 1)[1]方括号里面的如果是1，输出的就是1和0的矩阵。如果是0，输出的就是概率的矩阵。中间那个1是max函数索引的维度0/1，0是每列的最大值，1是每行的最大值。左边那个1，是说，按行进行归一化。loss_func = torch.nn.CrossEntropyLoss()loss = loss_func(out, y)这里的out和y并不是同一个shape的。y是标签值，是单列的布尔矩阵,但是注意这个shape是[3242

原创 dask和numpy的计算对比

#dask求解1000000000个数的平均值import dask.array as daimport numpy as npimport timex=np.arange(1000000000)#print(x)y=da.from_array(x,chunks=(100000,))#chunks表示划分时每块的大小（大数据超过内存容量时，需要对数据进行按块划分）tic=time.time()print(y.mean().compute())toc=time.time()print(to

原创 TUSHARE之前写的代码全放出来了，懒得搞软件著作权了。。。

TUSHARE ID:419258import tushare as tsimport datetimeimport pandas as pdimport timeimport requestsimport jsonimport eventletimport matplotlib.pyplot as pltimport urllib3from lxml import etreeeventlet.monkey_patch()from lxml import etreets.set

原创 os.system和cmd不一样的调用方法

昨天看了一个代码，他这里想法很明确，直接调用cmd命令，转换格式。但是我运行他的代码发现不行。但是呢，这个命令，我直接用cmd是可以运行成功的。我想着是不是cmd 的路径问题，然后我看了命令行窗口的路径，改了一下，就OK了。所以os.system里面的命令之前应该是要加上cd到cmd.exe的路径才能运行成功。for filename in filenames: filename=str(filename) temp=filename.split('.') print(filena

原创 爬取东方财富的动态网页，这次真的可以了！

此文只是举一个例子，按说看过都能懂吧。主要是网上讲这种爬虫的挺少的，我是机械专业的，这都是自己摸索的，你们计算机的看懂应该轻轻松松。不过那个字符串处理，去掉jQuery那层括号有没有别的好方法，还请指教。http://so.eastmoney.com/web/s?keyword=600010在东方财富随便搜一个股票，就到了http://quote.eastmoney.com/sh600010.html。然后打开F12，点开调试器，然后ctrl+shift+F在文件中查找，搜索当前股票的价格1.47就找了

原创 tushare选股1

tushare ID: 419258打新肯定是股市中赚钱最稳当，而且很多的了，所以新手跟着新股买基本上是稳赚，只是你基本上买不进去而已。再一个就是买基本面很好，或者是趋势很好，但是突然一下跌了5个点以上这种的股票，这种一般第二天都会弹回来，我是经常用这种方法，感觉挺好用的。# 找到某段时间内的上网发行的股票def find_all_new_stock_during_date(start_date, end_date): df = pro.new_share(start_date=start

原创 股票交易所的数据

前几天有个人忽悠我他们公司用了2亿买了交易所的数据，我还以为是真的，今天催我交钱，我就有点怀疑，去查了一下上交所的网站和深交所的网站。深交所网站的数据接口在这http://www.szsi.cn/cpfw/fwsq/hq/hlhqfw.htm，好像是基础版的是免费的，其他的也就30万一年嘛，这真能骗。。。然后这是上交所的网站https://www.sseinfo.com/services/technical/cloud/...

原创 对tushare的MA数据进行处理

def multiple_head_stable_rise_up(self): """ 当多头市场进入稳定上升时期，10MA、20MA、60MA向右上方推升，且三线多头排列(排列顺序自上而下分别为10MA、20MA、60MA)，略呈平行状。 :return: """ condition = 0 slope = [] for i in range(len(self.MA_data) - 1)...

原创 tushare——ts_code与code的转换

因为只有3和0是深圳的，6是上海的，所以这样做很清楚。def from_code_to_ts_code(code): first_letter = code[0] if first_letter == '6': code += '.SH' elif first_letter == '0' or '3': code += '.SZ' return codecode=ts_code.split('.')[0]...