- 博客(432)
- 资源 (65)
- 收藏
- 关注
原创 Llama factory Lora微调的时候如何设置超参数
最近测试发现,使用LLama factory微调Qwen 2.5大模型,7B模型的效果要好于32B。问了一下大模型,感觉需要修改一下LoRA的超参数。这些是大模型给出的建议设置,我准备先从rank=16试试,这时候lora_alpha应设置为32。10万+样本数据可尝试更高rank(r≥48);(如r=32时alpha取64-128);小样本场景(<1万)建议r≤32避免过拟合。lora_alpha通常设为。对于32B大模型,推荐从。今天只是简单总结一下。
2025-04-18 11:50:25
341
原创 用LLama factory时报类似Process 2504721 got signal: 1的解决方法
然后在终端里输入exit,然后再关闭ssh session即可。之前用nohup来远程跑LLama factory微调脚本,是没有问题的,但今天发现运行类似。就简单总结这么多,主要是现在大模型微调太费事,如果跑了一半出现这种问题真的很让人崩溃。
2025-03-29 23:50:11
471
原创 大模型量化框架GPTQModel的基本使用方法
简单来说,当data_dir这个参数指定的时候,第一个参数path可以用来指定数据类型,如json,csv,text,xml等。相信大家看一下我给的例子就能明白。最简单的方法就是直接通过微调数据集构造校准数据集,然后再参考一下GPTQModel的主页例子。
2025-03-23 19:59:21
712
1
原创 AutoGPTQ报torch._C._LinAlgError: linalg.cholesky: The factorization could not be completed的解决办法
我试了一下,确实能解决问题。但是发现量化之后的模型开始输出乱码了。确实挺让人无奈的,建议大家量化的时候直接试试GPTQModel,可能就没有这个bug了。我试了一下,发现直接用AutoGPTQ也会出现类似的问题,例如这里直接使用其主页(
2025-03-15 12:16:44
386
原创 Llama factory微调后的模型怎么通过ollama发布
这样的命令就能生成ollama中的模型,但是经过我测试发现,如果modelfile里只有一行,生成的模型可能会出现答非所问的情况。顾名思义,就是把huggingface类的文件转成gguf。把Lora模块和其基模型merge到一起之后,就可以通过ollama之类的框架提供服务了。就可以生成一个名为qwen2.5:7bwhole的微调之后qwen2.5 7B的模型了。
2025-03-09 22:04:55
1033
原创 在Dify中实现联网检索功能(模拟DeepSeek)
然后再运行第一个命令重新启动就行了,这时候再搜索的话就会快很多。但是还是发现有一个问题,按道理来说是访问bing的API,可为啥很多情况下返回的都是zhihu的页面,知乎充值了?DeepSeek发布之后,感觉联网检索功能变成标配了。这个是没错的,但是第一篇博客把启动docker的命令行写错了,应该是在Dify根目录下运行。把肯定用不到的engine禁掉,只留下Bing。剩下的内容大家参考之前列出的网页就可以基本实现了,先简单总结这么多。(我的本机地址是1.80),因为上面这个命令已经做过端口映射了!
2025-02-23 16:15:36
8041
7
原创 用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法
但是GitHub这里说得比较简略了,具体怎么解决呢,在yaml文件的method那一部分加入:deepspeed: examples/deepspeed/ds_z3_config.json。如果需要微调比较大的模型,例如Qwen2.5-32B,那么在两个3090上可能不够用,这里我用A6000×4的服务器。呵呵呵,这个bug还不知道有什么办法能解决,现在对32B的模型可以这样,72B的就无能为力了。哪怕不加上微调模块,模型输出也是胡说八道(输出乱码)。ps:从loss看似乎没训练好,但是总是可以跑了。
2025-02-08 11:03:26
1902
1
原创 在Ubuntu上用Llama Factory命令行微调Qwen2.5的简单过程
如果显存不够可能会报错,这个我在后一篇博客里再总结。如果显存够,那么可以直接得到微调后的lora模块,我这里用两个3090训练只需要一分多钟。"output": "您好,我是 {{name}},一个由 {{author}} 发明的人工智能助手。我可以回答各种问题,提供实用的建议和帮助,帮助用户完成各种任务。如果用命令行做的话,前面的步骤可以参考上面这个博客。然后再问大模型“你是谁?”,就可以看到修改之后的效果了。"instruction": "你是谁?
2025-01-26 20:49:06
1925
原创 Error response from daemon: Get “https://registry-1.docker.io/v2/“: request canceled while的解决办法
其实到最后也没搞清楚,是其中一步起了作用,还是很多步综合起来起了作用。不过相信遇到类似问题的朋友按照我这种操作,应该还是可以解决这个问题的。这两天试了一下在Ubuntu上安装docker版本的Dify,说来惭愧,之前一直没怎么用过docker。碰到了一些问题,这里记录一下。这两篇博客都已经讲的比较详细了,我就不再重复了。首先我不知道为什么要加这么多源,难道大家就不能选几个有用的源?其次,发现加了之后依然没用。结果发现没有任何区别。
2025-01-22 22:12:43
3480
3
原创 运行CARLA: Self-supervised Contrastive Representation Learning for Time Series Anomaly Detection的一点经验
这个嘛,能通过这种方式装pytorch?由于PyTorch版本是1.13.0,那么CUDA还是先装11.7吧(参考我之前的博客。也就是说环境的问题基本上解决了。感觉发论文的这些学生脑子都是浆糊,就这还发表在顶刊上,只能说学术界太辣鸡了。就把下面几个装完了。然后试着运行一下pip install -r requirements.txt。类似,不得不说这些发论文的人都太不细心了,让人怎么相信你们的研究结论呢?我就想问候一下作者的家人,这是个什么鬼?不应该是下面这个吗?还是没有说python的版本。
2024-12-15 15:21:26
389
2
原创 persistent_homology_cpu.cpython-37m-x86_64-linux-gnu.so: No such file or directory类似问题的解决思路
仔细看一下作者的文件夹,有torch_persistent_homology和repo/torch_persistent_homology两个文件夹,但是这两个文件夹作者完全没有解释啊。关于第一个问题,虽然上面这个repo没有setup.py,但是TopoGDN的作者实际上是加上了setup.py的(虽然自己一句也没提起什么作用)。就简单记录这么多,想着有朋友可能会遇到类似的问题(不一定是一样的过程,但是解决思路是相似的),就简单记录一下。不得不说,这个repo的质量也太差了,呵呵呵。
2024-11-05 15:37:26
814
1
原创 pip报类似No matching distribution found for torch-scatter==2.1.0+pt113cu116的一种解决方案
里面可以找到对应PyTorch,CUDA版本的whl文件,直接下载下来然后pip install即可。其他的lib也可以找找类似的网页。可见这种方式是指定了PyTorch的版本,CUDA的版本和lib的版本。
2024-10-30 16:33:07
1276
原创 多个nvidia GPU怎么限制功率
这也是个很简单的问题,我简单总结一下,目前在家里有一台双3090涡轮版的PC,声音真的很大,可是很多时候我们其实并不需要其功率很好,只要显存够用就可以。看有些人说Ubuntu上现在不能设置,可是我在24.04上测试是可以设置的。另外,上面的文章往往只提到用一个GPU时的情况,我总忘记怎么指定两个卡。重启后需要重新运行。
2024-09-22 21:37:14
1721
原创 Windows 11上pip报‘TLS/SSL connection has been closed (EOF) (_ssl.c:1135)‘的解决方法
然后再运行pip就可以正常安装了。感觉在国内装环境,百分之50的时间都是在处理和网络相关的问题,呵呵呵。
2024-09-11 11:17:41
2882
2
原创 Windows 11怎样在不同Anaconda环境中安装不同版本的CUDA
感觉当时的解决方法还比较复杂。最新有一台新的Windows 11系统想安装低版本的CUDA,感觉肯定不能使用上面这个博客的方法了(要改什么软连接和修改环境变量),所以搜了些博客,但是发现有些并不好用。可以看到这两次的CUDA版本确实是不一样的。感觉这个方法比我几年前总计的简单多了,不知道在Linux上适用不,感觉也应该适用,感兴趣的朋友可以自己测试一下。发现CUDA的版本并没有变化,呵呵呵,这个方法不靠谱啊。
2024-09-09 17:19:19
890
原创 Ubuntu 24.04上报:Error: could not connect to ollama app, is it running?的解决方法
其实User,Group之类的都不需要修改,主要是要加上端口号才能正常运行。原本42GB的qwen2:72b变成49GB了,interesting,虽然大小只变化了一点,但在CPU上之后速度慢了很多。可以看到服务是active的。说起来这个问题真实让人无语。
2024-08-10 22:36:06
11420
4
原创 在Ubuntu 24.04上安装ollama报curl: (28) Failed to connect to github.com port 443的解决方法
在一个新的Ubuntu 24.04上安装Ollama,结果报类似于:curl: (28) Failed to connect to github.com port 443 after 136027 ms: Couldn't connect to server的错,想想可能还是网络的问题。则不能解决问题(和上面这些稍有不同,我这里查到的github.com的网址是:140.82.112.3)。发现这样确实可以解决问题。如果socks5代理应该这样写(我之前参考的这篇博客。发现这种方法依然不能解决问题。
2024-08-05 22:57:05
4556
原创 Windows系统上怎么设置Ollama环境变量
例如我们在windows环境变量中可以把OLLAMA_KEEP_ALIVE改成1h,OLLAMA_NUM_PARALLEL改成2,就可以同时有两个并发访问,并且驻留时间为1h了(如果用ollama ps则会显示59 minutes)。如果要改驻留时间,就修改OLLAMA_KEEP_ALIVE,那这个环境变量是什么单位呢?
2024-07-22 10:09:57
6477
原创 Resource punkt not found.的解决方法
中间这句我注释掉了,可以用来设置http代理。运行以后出现图形界面——选择Models,然后就可以看到punkt,然后通过键盘上下键选择到punkt这一行,再点Download即可下载。这个问题本来不想记录,但是在好几个机子上都碰到了(用到了LangChain读Word文档)。
2024-06-26 19:24:45
393
原创 使用LangChain+Ollama的时候怎么使用其他的embedding模型
其中有两个是Deprecated的,而我们平时用到的HuggingFace的embedding model都基本以SentenceTransformer形式提供,我测试了一下,embeddings.huggingface.HuggingFaceBgeEmbeddings这个类是可以使用的,embeddings.huggingface.HuggingFaceInstructEmbeddings这个会报错,也没有仔细检查原因。经过测试,发现比Ollama自己的embedding模型的中文效果好多了。
2024-06-25 09:23:55
4670
4
原创 用LangChain调用Ollama的时候一个小问题
来测试其是否正常,通常会出来“Ollama is running”,然后我习惯性地从Chrome把地址拷贝到VS Code,真是太奇怪了,试了几次才发现,原来不能带那个反斜杠!这个问题真是让人无语。说来让人无语,简单记录一下。安装好Ollama后,我们通常通过访问。
2024-06-21 16:53:50
2569
原创 在Windows上用Llama Factory微调Llama 3的基本操作
我们构造数据集的时候,最简单的方法就是只构造instruction和output。当然,如果训练数据集比较小的话,测试的效果也不会太好。如果大家只是想对微调效果和特定问题进行展示,可以训练模型到过拟合,呵呵呵。训练完成后切换到Export,然后在上面的“微调方法”——“检查点路径”中选择刚才存储的目录Train_2024_xxxx之类,然后指定导出文件的目录,然后就可以导出了。不过这时候还没有模型参数文件,对于国内用户而言,可以在这里。选择自己的私有数据集,可以预览一下,然后就可以开始训练了。
2024-06-07 17:18:08
4198
1
原创 怎么通过OpenAI API调用其多模态大模型(GPT-4o)
现在只要有额度,大家都可以调用OpenAI的多模态大模型了,例如GPT-4o和GPT-4 Turbo,我一年多前总结过一些OpenAI API的用法,发现现在稍微更新了一下。其实也是比较简单的,就是本地图片需要用base 64先编码,然后再上传。当然,大家用的时候还是要注意花费,现在感觉还是有点贵的。
2024-05-19 20:57:32
9418
1
原创 设置Ollama在局域网中访问的方法(Ubuntu)
趁着Llama3的热度试了一下Ollama,果然部署推理大模型很有用。一个现实的需求是,如果我们要在局域网中访问Ollama上大模型的服务,应该怎么办呢?参考了一下其他博客的方法。就可以通过局域网或者另一台机子上的LangChain调用了。其次配置防火墙,打开端口。首先打开Ollama的配置文件。
2024-04-22 23:24:02
18947
8
原创 Python改变图大小并按照短边居中剪裁的方法
发现Stable Diffusion Webui,Lora-scripts之类的还是不够智能,预处理阶段有这样的需求。目标很简单,把一个超大的图缩小成正方向(如1024*1024),并保留短的一边,长的一边剪裁,并且剪裁过程居中。这段代码应该一看就懂。
2024-04-21 23:21:32
293
原创 ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.
【代码】ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.
2024-04-19 22:25:22
709
原创 stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
把repo clone到openai文件夹就行了。何必要用硬编码呢,完全违反软件工程实践。则需要在标红的目录下新建openai文件夹。不知道这么简单的问题为什么大家讲不清除。但是我发现很多朋友是改代码中的绝对路径的,这非常不科学,为啥要用硬编码绝对路径呢?
2024-04-16 22:16:28
3711
原创 科大讯飞星火开源大模型iFlytekSpark-13B GPU版部署方法
iFlytekSpark-13B: 讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,新一代认知大模型,一经发布,众多科研院所和高校便期待科大讯飞能够开源。最后说说硬件要求,我做完了以上配置就不报别的错了,只是还是显存溢出了,我的电脑是3090*2的,看来最低只能用40GB单卡,两个24GB由于各种原因会爆显存。需要注意的是,如上面repo里介绍的,由于模型太大所以使用Git LFS存储,如果直接用git clone是没法下载的。结合上面的博客,感觉有可能确实是分支的问题。
2024-04-15 16:32:54
4481
1
原创 Ubuntu中matplotlib显示中文的方法
可以看到/usr/share/fonts/MyFonts(这个文件夹也是新增的)下有很多字体。很多朋友说把字体拷贝到matplotlib目录下,例如我这里:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,但是个人感觉应该放到上面这个fonts文件夹的ttf目录下。这看起来就很清楚了,另外,从这个json看,是不是不拷贝到ttf目录下也能找到?这个我没测试,感兴趣的朋友可以试试!
2024-02-23 11:03:40
1020
原创 MathType里怎么输入手写字体
在MathType里输入,首先输入一个正常字母,选中——样式——其他——对话框里选择“Euclid Math One”即可。这篇博客只是简单记录一下。
2024-02-21 16:05:53
3395
原创 Python报No such file or directory: ‘science‘的解决方法
像在我的电脑上的路径是:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,把下载的字体更新进去。然后删掉/home/quyu/.cache/matplotlib这个文件夹就可以了。把这几个问题解决后,就可以输出论文里类似的结果图了(虽然我还是不太相信这个论文的代码和结论)。还是想看看这篇论文的可视化结果。
2024-02-08 00:54:55
1709
4
原创 时间序列异常检测论文TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
可以看作是论文中的一个W_t,前面的一个d是128个W_t的集合,也就是T=128,但是permute之后的意义全变了啊,其实在我的例子里,[7,8]也就是[3,4],但是这样一来,序列长度就是128了,而且在训练的时候,感觉是用后面的metric value预测前面,这不就是leakage了吗?我已经花了两天多在这个model上了,真是感觉不值,不得不再吐槽一句,学术界真的是太垃圾太浮躁了。由于工作需要,想用一下这篇论文的方法,但感觉其代码还是有很多不清除的地方,简单总结一下。
2024-02-06 14:56:03
1416
原创 在Conda中搭建PyTorch+DGL+PyG时需要仔细查看的几个关于版本的网页
但是现在还是能遇到问题,例如今天在一个新的Ubuntu上复现别人论文里的实验,就还是出现了问题。没办法,还是得仔细检查版本。特别应该注意PyTorch和CUDA之类的对应关系。
2024-02-01 15:58:32
558
原创 安装pygraphviz报错——fatal error: graphviz/cgraph.h: 没有那个文件或目录的解决方法
pygraphviz/graphviz_wrap.c:3020:10: fatal error: graphviz/cgraph.h: 没有那个文件或目录。结果报错:requires pygraphviz http://pygraphviz.github.io/
2024-01-27 21:55:07
1579
原创 Windows Powershell大量进程占用CPU的一种解决方法
首先,进入安全模式;其次,和修改文件名类似,我们也可以修改powershell.exe所在路径,例如我从C:\Windows\System32\WindowsPowerShell\v1.0改到了:C:\Windows\System32\WindowsPowerShell\v2.0,然后再重启,就可以发现机子正常了。就简单总结一下,相信一定有朋友会遇到类似的问题。今天不知道怎么回事(可能是装了某个软件),导致Windows Powershell在每次开机后都会创建很多进程,消耗几乎所有的CPU和内存。
2023-12-07 15:13:47
2854
原创 Win 10部署stable-diffusion-webui时github报错的解决方法
这篇博客就是简单记录一下。设置好了之后,就可以正常下载并且部署stable-diffusion-webui了。
2023-11-25 19:54:54
3540
原创 优盘安装Win 10英文版的一点经验
用微软提供的工具“Create Windows 10 installation media”,下载英文版iso,但是我总是装到一半就报错。不过我第二次试的时候,基本上就没这个问题了,简单来说,要下载英文语言包(如果版本有这个权限的话) ,如果遇到中英文混乱的问题,就按照上面那篇知乎文章解决。由于一些特殊的原因,需要在一个笔记本上安装Win 10英文版,没想到还挺麻烦的,简单记录两句。
2023-08-06 16:20:27
1664
原创 统计Ubuntu各个文件夹的大小
sudo是为了避免一些目录报“无法读取目录,权限不够”,--max-depth指定深入目录的层数,可以根据自己的需求进行修改。个人感觉这个命令就够用了。
2023-05-29 08:28:17
662
SS 2012-USENIX Security Symposium 2012年论文集
2012-08-14
SIGCOMM 2010-ACM SIGCOMM conference on Data communication 2010
2011-08-10
SS 2011-USENIX Security Symposium 2011年论文集
2011-09-08
OOPSLA 2011-Object oriented programming systems languages and applications 2011
2012-02-19
SOSP 2011-ACM Symposium on Operating Systems Principles 2011年论文集
2012-02-02
POPL 2011-Annual Symposium on Principles of Programming Languages 2011论文集
2012-03-14
FSE 2011-Foundations of Software Engineering 2011年论文集
2012-01-19
SIGCOMM 2011-ACM SIGCOMM conference on Data communication 2011论文集
2012-01-05
CCS 2011-ACM Conference on Computer and Communications Security 2011年论文集
2012-01-28
IMC 2011-Annual conference on Internet measurement 2011
2012-03-22
IMC 2010-Annual conference on Internet measurement
2011-11-03
PLDI 2011-ACM SIGPLAN conference on PLDI 2011
2011-09-25
NFM 2010-NASA Formal Methods Symposium 2010 论文集
2011-08-22
ISSTA 2011-International Symposium on Software Testing and Analysis
2011-09-18
POPL 2012-Annual Symposium on Principles of Programming Languages 2012论文集
2012-05-09
NDSS 2012-ISOC Network and Distributed System Security Symposium 2012
2012-04-21
ICSE 2011-International Conference on Software Engineering
2011-10-20
POPL 2012-Annual Symposium on Principles of Programming Languages 2012
2012-05-09
SP 2012-IEEE Symposium on Security & Privacy 2012年论文集
2012-07-21
CCS 2010-ACM Conference on Computer and Communications Security 2010年论文集
2011-09-14
SS 2013-USENIX Security Symposium 2013年论文集
2013-08-31
PLDI 2012-ACM SIGPLAN conference on PLDI 2012
2012-09-11
OSDI 2012-Operating Systems Design and Implementation 2012年论文集
2012-11-16
ISSTA 2012-International Symposium on Software Testing and Analysis 2012年论文集
2012-09-13
SIGCOMM 2012-ACM SIGCOMM conference on Data communication 2012论文集
2012-09-16
SP 2013-IEEE Symposium on Security & Privacy 2013年论文集
2013-06-08
OOPSLA 2012-Object oriented programming systems languages and applications 2012
2013-01-16
CSUR 2012-ACM Computing Surveys 2012
2013-02-05
SOSP 2013-ACM Symposium on Operating Systems Principles 2013年论文集
2013-11-22
SIGCOMM 2013-ACM SIGCOMM conference on Data communication 2013论文集
2013-09-20
ICSE 2012-International Conference on Software Engineering 2012
2012-10-31
ToSEM 2013-ACM Transactions on Software Engineering and Methodology 2013年论文集
2014-01-13
ASPLOS 2012-International conference on ASPLOS 2012
2013-01-20
IEEE TDSC 2012-IEEE Transactions on Dependable and Secure Computing 2012
2013-01-06
CCS 2012-ACM Conference on Computer and Communications Security 2012年论文集
2012-12-18
NDSS 2013-ISOC Network and Distributed System Security Symposium 2013
2013-05-01
CCS 2013-ACM Conference on Computer and Communications Security 2013年论文集
2013-12-24
FSE 2012-International Symposium on the Foundations of Software Engineering 2012
2012-12-29
ASE 2013-International Conference on Automated Software Engineering 2013
2013-11-25
POPL 2013-Annual Symposium on Principles of Programming Languages 2013
2013-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人