Windows安装ollama和AnythingLLM及部署DeepSeek模型1

一、Ollama安装部署

1)安装ollama

这里更新一下Ollama官网(最新)

官网下载:

打开Ollama官网:https://ollama.com/ 点击“Download”

阿里云盘下载:https://www.alipan.com/s/jiwVVjc7eYb 提取码: ft90

百度云盘下载:https://pan.baidu.com/s/1o1OcY0FkycxMpZ7Ho8_5oA?pwd=8cft 提取码:8cft

2、

ollama run llama2

3、启动与运行
在Ollama的终端界面中,键入命令Ollama serve,一键将Ollama设置为后端服务器模式,静待其为您的知识库服务。

Ollama serve	

运行私有化大模型(基于ollama)

4、随时查看已经下载大模型

ollama list

二、AnythingLLM 安装

      1、AnythingLLM安装有很多方式,一是到官方网站(Download AnythingLLM for Desktop)下载桌面版,然后双击即可

(为啥有人说打不开呢,我刚试了下载没有问题呀?!可以正常下载!!)

搭建本地聊天工具(部署Anythingllm)
一个功能强大的大模型开发工具下载地址:

https://useanything.com/

(链接:https://pan.quark.cn/s/a9974a779650 提取码:jnBL)

2、安装也是一键安装,左面图标长这样,点击打开即可

3、配置本地下载的大模型,先点击左下角的【配置】

本地大模型默认地址:http://127.0.0.1:11434

进来之后简单了解翻译一下

4、配置大模型:

5、到此我们已经完成了私有化大模型,聊天机器人的配置,点击左下角返回聊天界面

点击【New Workspace】新建一个聊天空间。

写个名字点【Save】

6、左侧点击进入你刚刚创建空间,然后开始和你专属的大模型聊天

三、搭建私有化知识库

1、嵌入模型选择

2、设置【向量数据库】

3、返回聊天空间,点击【上传按钮】如图

4、上传私有知识文档

5、点击保存

6、保存后有个数据向量化入库的过程。等到完成后右下角不会出现保存,同时文档已经在你的列表中,说明私有化知识库搭建完成了

7、设置知识库模式,两种模式

到此一个私有化知识库大模型搭建完成!

安装DeepSeek模型

版本:8b,(需要4.9GB空余空间)

ollama run deepseek-r1:8b

版本:14b,(需要9GB空余空间)

ollama run deepseek-r1:14b

参考:小白速成教程:私有化大模型+知识库_私有大模型和知识库-优快云博客

参考:AI模型:windows本地运行下载安装ollama运行llama3、llama2、Google CodeGemma、gemma等可离线运行数据模型【自留记录】_ollama下载-优快云博客

### AnythingLLM安装方法 AnythingLLM 是一个集成多种关键技术的项目,支持大型语言模型 (LLMs)、向量数据库、嵌入模型语音模型等功能[^2]。以下是关于其安装的相关说明: #### 默认安装流程 如果通过官方提供的图形化界面工具完成安装,则可以参考 Ollama 工具的默认安装方式。下载完成后,双击 `OllamaSetup` 文件即可启动自动安装过程,默认会将软件安装到 C 盘,并且无法更改安装路径[^1]。 #### 配置准备工作 在正式安装之前,需做好以下准备: - **环境依赖**:确认本地开发环境中已安装 Python 及其他必要的库文件。 - **硬件需求**:确保设备满足最低硬件要求,特别是 GPU 显存容量的要求。 - **网络连接**:部分组件可能需要联网下载,因此保持稳定的互联网连接至关重要。 #### 详细安装步骤 按照官方文档指引执行具体操作: 1. 下载并解压 AnythingLLM 的源码包或者二进制发布版。 2. 运行脚本初始化配置参数,通常是一个名为 `setup.py` 或者类似的 shell 脚本。 3. 如果涉及深度学习框架(如 PyTorch),则要特别注意 CUDA cuDNN 的版本匹配情况[^3]。 4. 测试基本功能是否能够正常运行,比如加载预训练模型实例。 对于可能出现的问题及其解决方案如下所示: - 若遇到 **模型加载失败** ,应重新核对指定目录下的模型文件是否存在缺失现象;必要时调整访问控制属性以便于程序顺利调用资源。 - 当提示存在 **CUDA 错误** 时,请参照 NVIDIA 官方发布的兼容性表单更新至适配版本号的驱动程序以及对应的 runtime 库。 - 对于因物理内存有限而导致崩溃的情况,可以通过裁剪输入序列长度或是启用分批计算机制缓解压力。 ```bash # 修改文件权限示例命令 chmod 755 /path/to/model/files/ ``` --- ### 提供一段简单的测试代码验证部署成果 下面给出了一段用于检测系统能否正确响应请求的基础样例: ```python from anythingllm import AnyThingModel model = AnyThingModel(model_name="base") # 初始化基础模型对象 output = model.generate(text_input="你好世界", max_length=50) print(output) ``` 上述片段展示了如何快速创建一个基于 AnythingLLM 架构的应用场景模拟对话交流的过程。 ---
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山山而川_R

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值