- 博客(3)
- 收藏
- 关注
RSS订阅原创 Deepspeed训练好的权重如何加载
我一开始是用model.load_state_dict()直接分别导入两个pt文件，发现出现大量missing key，但我检查了权重的key，奇怪的是我发现权重里是存在这些missing key的，但是这些key的值都为空。遇到一个很奇怪的现象，明明训练时的loss降的很低，但加载训练好的权重后实际测试效果却很差，检查了模型的输入输出都没问题。用get_fp32_state_dict_from_zero_checkpoint进行权重转化后就能正确导入权重啦！
2025-01-03 10:27:13
515
原创 国内HuggingFace连接不上
huggingface-cli download --repo-type dataset --token 你的token --resume-download 数据集名称 --cache-dir /本地路径 --local-dir-use-symlinks False。3、如果依旧连接超时，去刷新HF的access token，注意权限要设置为write。# 这种方式，数据集会保存到"/本地路径"中。
2024-11-29 08:55:50
1173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人