docker安装dify+ollama+deepseek本地化部署

镜像资源

百度网盘 请输入提取码

提取码:0603

一、安装docker

sudo apt install apt-transport-https ca-certificates curl software-properties-common -y

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io -y

sudo systemctl status docker

安装docker compose

sudo curl -L "https://github.com/docker/compose/releases/download/v2.17.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

二、安装并运行dify

sudo git clone https://github.com/dify-ai/dify.git

# 解压到本地镜像

sudo docker load -i dify.tar

sudo cd dify

sudo cp .env.example .env

sudo docker compose up -d

#拉取镜像会经常性报错,出现web、worker、api三个镜像拉取不了,文章有镜像压缩包

本地访问dify

http://localhost:80

# 看自己端口映射到哪里了

# 需要配管理员账号,这个自己配就行

三、安装ollama

sudo tar zxvf ollama-linux-amd64.tgz

ollama sever

# 安装deepseek-r1:1.5b(根据自己需求)

ollama run deepseek-r1:1.5b

在dify配置大模型

然后就可以去使用dify

### 部署环境准备 为了在MacOS上成功部署DifyOllama以及DeepSeek 7B模型,需先确认操作系统版本兼容性并安装必要的依赖软件。对于大多数现代机器学习框架而言,推荐的操作系统最低版本通常是macOS Mojave (10.14) 或更高版本[^2]。 ### 安装Python与虚拟环境 由于这些项目大多基于Python开发,在开始之前应确保已安装最新稳定版的Python解释器。建议创建独立的Python虚拟环境来管理各个项目的依赖关系: ```bash brew install python3 python3 -m venv llm-env source llm-env/bin/activate pip install --upgrade pip setuptools wheel ``` ### 获取源码仓库 针对不同模型的具体实现方式有所不同,下面分别介绍各模型的获取途径及其特定配置需求。 #### Dify 访问[Dify GitHub页面](https://github.com/dify-labs/dify),按照官方README.md中的说明克隆仓库至本地,并参照文档完成后续设置过程。 #### Ollama 前往[Ollama官网](https://ollama.ai/)下载适用于MacOS平台的应用程序包(.dmg文件),双击运行安装向导即可轻松完成安装流程。之后可通过命令行工具`ollama`来进行进一步操作。 #### DeepSeek 7B 考虑到资源消耗较大,建议通过容器化解决方案如Docker简化部署工作。首先拉取预构建镜像: ```bash docker pull deepseekai/deepseek-7b:latest ``` 接着启动容器实例: ```bash docker run -it --rm \ --gpus all \ -p 8501:8501 \ deepseekai/deepseek-7b ``` 上述指令会自动映射主机端口8501到容器内部服务地址,允许用户直接浏览器访问Web界面进行交互测试。 ### 数据库迁移 当涉及到数据库结构更新时,可以利用Flask-Migrate扩展辅助执行升级脚本: ```bash poetry shell flask db upgrade ``` 此命令能够依据Alembic版本控制系统自动生成SQL语句并将变更应用于目标数据库中[^1]。 ### 测试验证 最后一步是对所部署的服务进行全面的功能性和性能方面的检测,以确保一切正常运作。这可能涉及编写自动化测试套件或是手动探索API接口返回的结果准确性等问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值