hebian1994的博客

DEVIN AI使用

【代码】深度学习==RNN循环神经网络手写数字识别。

【代码】深度学习==FNN卷积神经网络手写数字识别。

flask api调用模型。使用刚才训练好的模型。

nvcc -Vconda create -n llama3_env python=3.10conda activate llama3_envconda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidiagpu - Pytorch version for cuda 12.2 - Stack Overflow

非常慢，大概用了一两分钟回答一个问题。还是老实用ollama跑qwen吧。

测试下文本问答，可以看到走的GPU,并且可以在ollama服务端看到了来自anythingllm的请求日志。安装完成后打开，输入ollma服务器的地址，然后可以选择使用ollama中的哪个模型。然后再问，可以发现这下准了，所以准确度还是对投入的文档有一定的准确度要求的。此时模型会被自动下载到环境变量配置的地址，并且启动一个对话界面。配置ollama环境变量，调整模型存放的位置。自己写手写个TXT吧，我在TXT里写的内容为。右下角退出ollama程序，然后再次启动。安装ollama，自动安装到C盘。

然后查看项目的requirements.txt和requirements_api.txt，发现里面用的是。修改代码中的configs目录下的所有文件，去掉后缀的example。最后的cu121代码这cuda是12.1。然后修改model_config.py。可以发现问问题的时候GPU直接拉满了。可以从日志中看到分别使用了什么模型。因为是基于GPU，所以修改为。真的慢，所有文件全部下载下来。官网下载，然后安装即可。我这安装的是12.1。

源码地址创建环境修改源码中依赖，使得使用cuda，否则太慢了最后的cu121代码这cuda是12.1修改依赖文件中关于torch的为安装。