- 博客(212)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Python｜flash_attn 安装方法
对于flash_attn对应的cxx11abiFALSE还是cxx11abiTRUE，使用如下方式判断。
2025-11-14 13:46:46
195
原创 大模型训练-训练数据量与训练周期（epoch）的关系
本文总结了不同数据量下的训练周期推荐。对于1k-5k的小数据集，建议1-3个epoch（全参）或3-10个（LoRA），需采用早停机制防过拟合。5k-20k中等规模数据可适当增加epoch至2-5（全参）或5-10（LoRA）。超过20k的大数据集，1-3个epoch（全参）或2-5个（LoRA）即可，避免过拟合且迭代收益有限。核心原则是根据数据规模调整训练轮次，大数据集快速迭代，小数据集谨慎训练。
2025-10-15 09:53:53
105
原创 基于autoawq进行qwen3 的awq量化
awq量化 精度降低6个点。推理耗时降低从0.447s降低到0.4s。在llamafactory环境中，安装。
2025-09-10 20:40:23
345
原创 大模型量化方法及qwen3的AutoGPTQ量化
处理完后的 msg 应该是[{"role":"user","content":""},{"role":"assistant","content":""}] 类似的，可以让chat_template解析，同时带有回复答案的。data_path = "模型训练数据路径，注意格式"基于llama_factory的训练环境，安装量化,quant_path = "模型量化保存路径"model_path = "模型路径"
2025-09-04 17:08:33
335
原创 ONNX Runtime gpu版本安装
ONNX Runtime版本与cudatoolkit版本对应关系：NVIDIA - CUDA | onnxruntimeonnx runtime发的版本：Releases · microsoft/onnxruntimeonnx runtime 官网：ONNX Runtime | Homeonnx和onnx runtime版本对应关系：Compatibility | onnxruntime
2024-12-30 23:20:25
3902
2
原创 基于bce-embedding-base_v1模型将torch模型转换为onnx模型
确定cuda和onnxruntime的版本对应关系：https://blog.51cto.com/u_15962038/12360310。
2024-11-11 10:23:00
579
原创 大模型prompt相关
n\n从给定的文本中，我们可以抽取以下知识图谱三元组：\n\n```json\n[\n {\"subject\": \"刘德华\", \"predicate\": \"老婆\", \"object\": \"朱丽倩\"}\n]```\n\n文本输入为：北京是中国的首都\n\n从给定的文本中，我们可以抽取以下知识图谱三元组：\n\n。\n\n文本输入：\n\n我很烦，今天的事情太多了。\n\n分类为：\n\n消极\n\n文本输入：\n\n我今天感觉很开心。\n\n分类为：\n\n。
2024-09-24 18:54:28
562
原创 typora使用和激活
此时打开就会发现提示已经激活成功，但是每次打开都会提示这个激活，并且左下角会提示未激活。右键——打开方式——使用记事本打开。
2024-09-23 15:16:53
767
原创 对文件进行邮件的定时生成和发送
send_email("name1@yourcompany.com",["name2@qq.com"],"test","hi, 大家好",save_file_path)#此处决定你发送的邮件范围，多个用空格分开，比如要发送给111555555@qq.com则对应的域名为qq.com。创建一个邮件目录，如/opt/email，并进入/opt/email。5、 telnet localhost 9925 验证是否部署成功。3、编辑docker-compose文件。2、在当前目录下编辑main.cf。
2024-03-19 15:26:04
626
原创 ASR语音识别纠错-fast correct
vi train_pretrain.sh (第9行数据赋值为data-bin，第12行为data-pretrain，第13行修改增加CUDA_VISIBLE_DEVICES=3,4)align_cal_werdur_v2.py original_query_file target_query_file 可以将纠错内容进行对齐生成对齐数据集。**********************下载sentencepiece对应的模型*************************************
2024-03-12 19:51:25
3757
原创 python 服务 fastapi
服务执行：uvicorn correct_service:app --host 0.0.0.0 --port 22101。fast api 服务。
2024-03-11 19:17:03
740
原创 basicsr 安装问题
安装时，如果使用单一源安装，由于原的包不完整性，容易导致安装失败：tb-nightly清华源不存在。basicsr依赖torch和torchvision和tb-nightly。其中torch根据自己的需要指定版本（不指定会使用最高版本）
2024-02-20 15:06:23
3501
1
原创 pyqt5使用经验总结
值为：Lib\site-packages\PyQt5\Qt\plugins。健名：QT_QPA_PLATFORM_PLUGIN_PATH。
2023-10-02 20:50:25
502
原创 大模型lora微调-chatglm2
llm_question="ddsfdsfddsfsdg\nA. 非常满意\nB. 满意\nC. 不满意\nD. 非常不满意\n答案：".format(line_format)[{"instruction":"阅读下列短文，从每题所给的四个选项《A、 B、 C和D)中。[{"instruction":"阅读下列短文，从每题所给的四个选项《A、 B、 C和D)中。"output:"A"}]训练数据文件配置到dataset_info.json中。ckpt_path = "lora微调后的模型"
2023-09-25 17:45:11
736
原创 hive 和hadoop相关总结
7、表查询聚类(先聚类-再查询-再排序)：select a,count(*) as frequency from mydb.t1 group by name order by frequency desc;11、给已经存在的表级联插入新列：alter table mydb.t1 add columns (name string) cascade;10、给已经存在的表插入新列：alter table mydb.t1 add columns (name string);1、表复制(五分区表复制)
2023-07-26 20:06:52
471
原创 bark 环境部署相关
conda create -n bark python=3.10.9 cudnn=8.4.1.50 cudatoolkit=11.7.0 ffmpeg x264conda activate barkpip install torch==2.0.0+cu117 torchvision==0.15.1+cu116 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu117pip install -r requirmen
2023-05-15 15:24:08
454
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人