- 博客(10)
- 收藏
- 关注
RSS订阅原创 使用nohup python xxxxxx.py ＞ run.log 2＞&1 &后ctrl+C无法关闭进程，nvidia-smi后发现显存没有被释放
使用nohup python xxxxxx.py > run.log 2>&1 &进行后台工作，但是已经写到.sh文件中了，所以自己把这个改为了nohup bash x.sh> run.log 2>&1 &所以使用ps的时候只能看到bash。一层一层地我估摸着这样是kill不完的，然后给出prompt“如何关闭僵尸进程”，根据给出的定义“僵尸进程（Zombie Process）是指已经完成执行（通过调用。于是尝试了以下方式，发现可以kill这个进程，但是会冒出新的bash进程2767749。
2024-12-25 13:27:04
675
原创 openmind微调大赛报错总结
如果您在函数内部对 datasets 进行了赋值操作，确保在使用它之前不要有任何赋值语句。或者，如果您需要使用 datasets 库的其他功能，确保在使用 datasets 之前不要有任何赋值操作。2、deepspeed会报错，有版本限制换成0.15.4。没有导入华为编写好的处理与pytorch结合的驱动。3、使用华为昇腾910单机8卡时出现的报错。
2024-12-18 12:34:37
298
原创 Qwen-1.8B微调记录（Qlora）
还是下不下来包，于是发现python版本是3.6，这是因为在新建环境时没有指定python版本，所以新开了一个环境，重新下载，这次连torch也下不下来了，问了kimi说这个代码可以自动处理依赖，需要把后面的cu113换成自己nVidia显卡对应的cuda版本，然后正常运行，叽里咕噜下来一大堆东西，刚开始下的时候很快，后面就很难，扫了一眼有什么pillow，numpy的，想复制一下包名结果以外中止了程序。如果您的 Python 版本不在这个范围内，您可能需要安装一个兼容的 Python 版本。
2024-12-18 12:31:02
1198
1
原创 解析json文件时的报错
@[ 错误通常发生在尝试解析的JSON数据包含额外的数据，这违反了JSON格式规范。JSON格式要求每个文件或字符串仅包含一个JSON对象。如果你有一个包含多个JSON对象的文件，你需要以不同的方式处理它，例如逐行读取（如果每个对象都在单独的一行）或将它们包装在一个数组中。以下是几种可能的情况和解决方案：如果你的文件是JSON Lines格式（每行一个JSON对象），你可以逐行读取并解析每个对象：情况2：文件包含一个JSON数组如果文件包含一个JSON数组，你可以直接解析整个文件：情况3：文件包含多个
2024-12-05 23:18:17
1668
原创 记录一下在使用服务器时需要记住的一些知识
1、进入文件夹用 cd2、exit正常退出terminal，ctrl+c是异常中断3、使用conda创建镜像时：conda create -n hh python==3.10.0；激活环境 conda activate hh 结束环境conda deactivate3、使用华为昇腾910芯片时配置NPU运行环境 export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/Ascend/driver/lib64/driver/
2024-12-05 10:41:50
298
原创 微调过程中有关于accelerate库的学习
在这种方法中，和是分别初始化的方法二使用的参数和方法来集成，示例如下：使用这种方法时，会自动处理多进程环境下的记录，无需手动判断主进程，但需要按照的规范来使用方法记录数据如果使用第二种方法，即通过`Accelerator`的`log_with`参数和`init_trackers`方法来集成`TensorBoard`，查看`TensorBoard`记录结果的步骤如下： （其中是你在代码中指定的保存日志文件的目录），然后在浏览器中访问就可以打开界面，随着训练的进行，就能看到指标的动态变化
2024-12-05 10:41:37
1213
原创 Android Studio 解决dependence问题
下载AndroidStudio后会遇到很多问题1.build不成功提示unresolved dependency，如果app下的gradle长成这样：implementation 'com.android.support:appcompat-v7:26.1.0+'则可把它更改为implementation 'com.android.support:appcompat-v7:+'尝试一下，同理对于implementation 'com.android.support:design
2022-03-23 01:34:09
4338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人