分享技术，传播知识!

因为我使用的是DeepSeek API，所以需要配置 DEEPSEEK_API_KEY（上一步创建的DeepSeek API Key）下载一个LangGraph Template项目。下载agent-chat-ui项目。前端项目基于NodeJS。

我是在WSL下的Ubuntu22.04.5系统中进行操作的，系统安装后默认已经安装了NVIDIA的驱动，跟Windows下的驱动版本一致。如果没有安装的可以从NVIDIA的官网 （https://www.nvidia.cn/） 下载相应的驱动进行安装。由于网络问题，我们通常是无法访问Huggingface官网（ https://huggingface.co ）的，我们可以从 https://hf-mirror.com ，或者魔搭社区（ https://modelscope.cn ）中获取预训练模型。

由于同步周期的问题，毫秒镜像中的docker镜像不一定是最新的，这种情况可以考虑现在个人电脑本地docker环境中通过科学上网的方式从docker官方镜像仓库获取最新的dbgpt镜像。这里指定的dbgpt-proxy-deepseek.toml就是修改后的配置文件，如果指定其他的配置文件，那就对执行的配置文件，进行响应修改。由于网络问题，群晖系统中Container Manager的Docker官方镜像仓库是访问不了的，可以添加一个国内代理镜像站，比如。下面介绍一下部署DB-GPT的关键步骤。

我下载了bge-large-zh-v1.5和text2vec-large-chinese向量模型，只下载1个就可以，要与后面toml配置文件中向量模型的配置对应。当前 hub.docker.com 镜像仓库中的 dbgpt 镜像有一些问题，在使用 docker run 时指定的。我们主要修改[models]配置节下的[[models.llms]]和[[models.embeddings]]。把下载的toml配置文件放到/opt/dbgpt/configs目录下。可以看到dbgpt的镜像文件还是很大的。

1、（如果正确就不用改了，我这里的版本原本就时正确的）修改drivers/rknpu/rknpu_devfreq.c将MONITOR_TYPE_DEV写成了MONITOR_TPYE_DEV。2.2.1.1 SDK/kernel/include/sock/rockchip/rockchip_opp_select.h 修改如下。转换rkllm内存至少需要16G，从https://huggingface.co/Qwen/Qwen-1_8B-Chat下载所有文件。2.2.1 vm_flags_set具体修改如下。

1. 连板调试简介2. 环境要求2.1 硬件环境2.2 软件环境3. rknn_server存放目录3.1 Android平台3.2 Linux平台4. 启动步骤4.1 Android平台4.2 Linux平台(非RV1103/RV1106/RV1103B)4.3Linux平台(RV1103/RV1106/RV1103B)5. 查看rknn_server详细日志5.1 Android平台5.2 Linux平台(非RV1103/RV1106/RV1103B)

近期学习了一些与大语言模型有关的知识，不过每次都使用自己办公的电脑测试很不方便，又不想再花钱买算力，正好有2台备用的RK3588的设备，看了参数，也有6TOPS的算力。想尝试把它当作跑模型的服务器。学习过程中用到的一些知识，记录下来，方便后期查阅。

MaxKB是一款基于LLM大预言模型的知识库问答系统。多模型支持：支持对接主流的大模型，包括本地私有大模型（如Llama 2）、Azure OpenAI、百度千帆、阿里通义千问大模型等；开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、智能问答交互体验好；无缝嵌入：支持零编码快速嵌入到第三方业务系统。

其实，开始菜单中的Ollama就时Ollama app.exe，相当于ollama的守护进程，会自动监控ollama.exe的运行情况，如果发现ollama.exe结束后，会自动启动ollama.exe。3、环境变量设置完毕后，需要重启ollama服务才能生效，ollama服务在启动的时候会读取这个环境变量的值，按这个值进行侦听。注意，在windows下安装时，是不允许选择安装位置的，默认是安装在系统盘的。在windows，ollama安装的模型，默认存放目录为。5、再新开一个终端，查看侦听的地址和端口。