tanixn的博客

在构建RAG-LLM系统时，用到了llama_cpp这个python包。但是一直安装不上，报错。安装visual studio 2022，并且勾选C++桌面开发选项与应用程序开发选项；尝试在安装包名改为“llama_cpp_python”无效。最后在Github上发现有人同样的报错。然后再继续安装llama_cpp即可。

在这里就可以看到很多可下载的文件。一般来说，下载需要下载箭头标注的这几个文件。其中“​​​​pytorch_model.bin”是基于pytorch框架的模型文件，有时候也会有tf_model的模型文件。根据自己的框架进行选择。在Hugging Face上搜索到自己想要的模型，这里我自己搜索的是检索增强常用的模型。搜索到之后，点击“files and versions”。下载之后将其放在同一个文件夹下，然后在环境变量文件.env中，注明模型所在的文件地址即可。

中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/阿里云 http://mirrors.aliyun.com/pypi/simple/豆瓣(douban) http://pypi.douban.com/simple/如果想更改配置，以后安装包就不用每次都-i了。

ChatGPT在另一个设备的浏览器登陆之后，自己电脑浏览器打开之后无法发送消息，没有其它选项。点进application，在cookie选项下。浏览器右键检查，将该页面缓存清除。

这是拿之前一个RAG-LLM对话界面改的。所以里面有一些注释（数据库或者模型之类）是之前的界面内容。之前在某宝上购买的open ai的key一直是中转的。商家提供了一个对话界面，直接在设置中粘贴购买的key就可以实现对话。但是今天下午购买了直连的key。中转的对话界面就不能使用了。只能通过代码获取回答，自己日常使用很不方便。因此做了一个简单的streamlit界面用于对话。

os是用来设置和获取环境变量的，docx是用来创建word文档的（这里要注意，在install的时候，记得安装python-docx库，docx库太旧了，其中没有Document函数。OpenAI是用来创建聊天实例的。这里我将调用GPT，并且获得输出文本的代码封装在一起，输入是prompt（也可以自行设置其它关于GPT的参数），输出是回复的文本。这里使用的API是中转的。因此需要加一个base_url。将回复的文本保存为word文档。然后环境变量.env文件设置。首先，需要用到的库。

因为项目需要配置环境变量，第一次操作。在论坛上找了很久，都是扯淡。说什么要在桌面用记事本创建一个1.env文件，然后再命令行里面rename，将文件名改为.env。其实只要在pycharm里面直接新建文件，然后命名为.env就可以了。