anythingllm无法获取ollama模型

简单记录一下,本地大模型部署,遇到的一个坑。

ollama:本地可大模型
anythingllm:RAG工具,分为docker版本和desktop版本。
desktop版本功能比较少,只限于个人使用。
docker版本可以创建团队。
首先在安装docker版本真的踩了很多坑,因为国内很多镜像都被b了,根本pull不下来。(这个问题去b站搜最新的视频,很多人会给最新的镜像源配置一下就好)

今天要说明的docker版本的anythingllm中一些官方也没有说明的坑!
系统:ubuntu+ollama本地+docker anythingllm
所有的教程在Ollama Base URL这里的时候都是自动获取,然而没有人说明无法自动获取且ollama ip正确时anythingllm也无法加载的问题。
先给出我研究了很久的方法。
下载ollama docker版本

1、下载ollama docker
docker pull ollama/ollama:latest
2、运行docker ollama
docker run -d --name ollama ollama/ollama
3、查看ollama在docker中的ip
docker inspect -f '{{range.NetworkSettings.Networks}}{{.IPAddress}}{{end}}' ollama

然后在浏览器中访问http://:11434。
显示Ollama is running
把http://:11434就可以获取到模型了(前提是docker的ollama先下载好模型)
亲测可以,官方没有说明linux下面无法获取到ollama模型的方法,如果有其他方法欢迎分享。

### 配置 Ollama 使用 AnythingLLM 为了使 Ollama 能够使用 AnythingLLM 模型,需遵循特定的设置流程。首先确认已安装最新版本的 Ollama 应用程序[^2]。 #### 安装和准备模型 确保访问 Ollama 的官方网站,并导航至 Models 页面来获取所需模型 deepseek-r1 或其他兼容模型。对于首次使用者而言,在左侧调整模型参数规模以适应硬件条件非常重要;例如,拥有 6GB 显存的 NVIDIA GeForce RTX 3060 用户选择了 14B 参数量级的变体。 ```bash ollama pull deepseek-r1:14b ``` 上述命令用于仅下载指定大小的模型而不立即启动它。这一步骤只会在初次执行时触发完整的网络传输过程,后续调用则直接加载本地缓存副本。 #### 设置环境变量与集成 为了让 Ollama 正确识别并利用 AnythingLLM 提供的服务,可能需要设定一些必要的环境变量。具体来说,就是告知应用程序关于目标 LLM 接口的位置以及认证信息(如果有)。这部分配置通常涉及编辑 `.env` 文件或其他形式的秘密管理机制[^3]。 ```bash export OPENAI_API_KEY="your_api_key_here" export ANYTHING_LLM_EMBEDDING_MODEL=all-Mini-L6-v2 ``` 这里假设使用的是内置于 AnythingLLM 中默认提供的 `all-Mini-L6-v2` 嵌入模型作为示例[^1]。 #### 启动服务并与应用交互 完成以上准备工作后,可以通过简单的 CLI 操作让一切运转起来: ```bash ollama run deepseek-r1:14b ``` 这条指令将会依据之前拉取下来的镜像实例化一个运行中的容器,从而允许通过 API 请求等方式与其通信互动。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值