wade1010的专栏

vim requirements.txt 这里源码里面是没有指定版本的，我试过，但是没运行成功，由于成功之前也做了重新构建indexing目录，不确定是不是都需要改（有兴趣的测试可以确定下）后面可以修改下indexing目录下面的.env文件的配置，后期刷新页面，显示的模型就是我们想要的，要不然刷新下，就会默认设置为.env里面的模型。源码里面是有indexing目录的，我这里重新生成一遍（反正这么折腾后，是跑起来了）解决方法（2024-9-6 20:46:46有这个问题，预计后面会解决的那么白，）

项目地址： https://github.com/wade1010/graphrag-uiGraphRAG-UI 是的用户友好界面,GraphRAG 是一个强大的工具,可使用检索增强生成(RAG)方法对大量文本数据进行索引和查询。本项目支持最新版graphrag，旨在为 GraphRAG 提供方便的管理和交互方式,支持配置 ollama 等本地大模型服务,使其更容易为广大用户所使用。

下载模型之前可以修改下模型默认保存路径。

这里使用ollama启动本地大模型，然后graphrag使用本地大模型作为底座。

上面的左边红色框，好像不能填127.0.0.1和localhost，报网络错误，不知道是open-webui还是GraphRAG4OpenWebUI的问题，不去细究。填自己IP就行，记得端口号防火墙开放。后来测试了一把使用非本地的大模型，上面的文本，4个文本，4章节西游记的txt，跑一次，就把我积分耗完了。然后传入一个1.txt（自己找一个txt）的文本到ragtest/input目录下。prompt_tune 由于我找到的中文的，要执行下面命令。下面的再问一个问题进行对比，local回答的是原文。

不安装ninja，MAX_JOBS不起作用。MAX_JOBS根据自己硬件配置来设置。如果pip安装很慢，可以试试这个方法。经过10分钟不到，编译成功。

然后在另外一台节点上启动多进程处理32万条原始数据，32万条数据平均分配到24个节点，然后构造prompt，让Qwen产生QA问答对。24台服务器，每台服务器配置一张40G显存的A100。耗时估算，大概每次请求耗时，平均下来10秒。

2024-7-15 22:34:02系统环境：conda create -n llamafactory python=3.10看下当前版本vim download_model.pylocal_dir 设置为自己本地地址创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。 模型替换为上面自己本地地址运行 quick_start.py 代码。报错如下解决上面的安装很慢，参考快速安装flash-attn再次运行 quick_start.py,还是有不对解决启动就能正常显示

操作日期：2024-8-26 linux操作系统 dify最新版本0.7.1。

langchain-chatchat

纯简单记录。

简单的方法生成质量比较低提供比Greedy decoding更好的质量如果beam size过高，会返回跟输入无关的输出(例如，通用、短)获得更多的多样性和随机性对开放/有创造力的一代人有好处(诗歌、故事)Top-n/p/温度采样允许控制多样性。

这一章节虽然是BMTrain，不是目前常用的Megatron+DeepSpeed，但是对于了解原理，也是很有帮助。

大部分参考官方教程下面是docker-composer.yaml文件，我修改了本地映射的目录。本地目录我都提前建好了。根据教程执行到 第五步 5. 启动 chatchat & xinference 服务 发现又报错解决如下（写教程的人，估计由于是已经部署好过一次，所以不记得先后顺序了）6.检查服务启动情况version如上, 服务均已正常启动, 即可体验使用.

llama-2-70b-chat-hf就是最终产物了，之后使用这个目录进行模型加载。2023-7-26 17:21分开始执行，2023-7-26 17:32结束。

第二步让你输入想要下载的模型名称，这里下载的是70B-chat。之后会下载几个LICENSE和tokenizer.model等。稍微认证填一填，我这次大概10分钟左右给我通过了。使用源码里面的download.sh进行下载。第一步让你输入邮件里面那个授权url，很长，再之后就是我们最需要的模型文件了。

{ "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。P-Tuning是一种较新的模型微调方法，它采用了参数剪枝的技术，可以将微调的参数量减少到原来的0.1%。具体来说，P-Tuning v2是基于P-Tuning v1的升级版，主要的改进在于采用了更加高效的剪枝方法，可以进一步减少模型微调的参数量。