AI大模型学习十三、白嫖腾讯Cloud Studio AI环境 通过Ollama+Dify+DeepSeek构建生成式 AI 应用-安装

一、说明

退休老程序员,本着无聊学习原因,当笔记记录分享,别忘了点赞收藏

Dify 是一款开源的 大语言模型(LLM)应用开发平台,旨在通过低代码/无代码的交互方式,降低开发者构建生成式 AI 应用的门槛。以下是其核心特点的简要概括:

  1. 低代码与可视化开发
    Dify 提供直观的可视化界面,支持通过拖拽和配置快速定义应用逻辑(如提示词设计、上下文管理、工作流编排),无需深入编写复杂代码,适合非技术人员参与开发。

  2. 多模型集成与灵活性
    支持集成主流 LLM(如 OpenAI、Claude、Llama3 等)及开源模型,并允许自定义模型接入。开发者可根据需求灵活切换模型,结合 RAG(检索增强生成)技术提升生成内容的准确性。

  3. 企业级功能与私有化部署
    支持私有化部署,确保数据安全和合规性,适合银行、大型企业等场景。提供监控、日志分析、权限控制等工具,满足生产环境需求。

  4. 多样化应用场景
    覆盖智能客服、内容生成(如文章、代码)、数据分析、知识库问答等场景。例如,通过 RAG 技术解析文档(PDF、PPT 等)构建知识库,增强模型回答的专业性147。

  5. 开源与社区驱动
    基于 Apache 2.0 协议开源,允许商业使用(需遵守 LOGO 保留等条款)。社区版支持快速部署,企业版提供高级功能(如多租户管理)。

Dify 通过整合 LLMOps、后端即服务(BaaS)等理念,为开发者提供从原型设计到生产部署的全流程支持,是快速构建生成式 AI 应用的理想工具。

二、环境准备 

官网文档:欢迎使用 Dify | Dify

安装 Dify 之前, 请确保你的机器已满足最低安装要求:

  • CPU >= 2 Core

  • RAM >= 4 GiB

  • 显然如果用本地部署seekdeep是不够的,这个是连接api的要求

Linux platforms:

Docker 19.03 or later Docker Compose 1.28 or later

保证安装了docker,docker-compose 以及ollama

1、使用腾讯cloudstudi环境 

我们采用的是腾讯 cloud studio在线

通过注册登录一番操作之后进入这个页面

 Cloud Studiohttps://ide.cloud.tencent.com/

 为什么选择这个工作空间,这个没有gpu,只是内存大有64g内存,其它有gpu的没有选,为什么?说明一下,免得走弯路,不过只有cpu,估计速度会比较慢,先运行下再说

因为:

  1. 这个系列系统自带docker,docker-compse,二高性能工作空间没有docker,而且无法安装,可能是权限问题
  2. 这个系统本身安装了Ollama,已经都下载好了各版本的model,也就是说本地部署已经做完了,我们该篇文章也不是为了部署本地库,可以用现成的
  3. 内存够大,硬盘够大

下面我们获取工作空间,点击上图中红框部分 

 进入后的界面

 

我们选择端口

 

这说明ollama正常运行 ,已经安装好

2、本地ubuntu环境

如果是本地的linux环境

需要步骤

  • 安装docker
  • 安装docker-composer
  • 安装ollama
  • 下载模型 ollama pull deepseek-r1:32b
  • run模型 ollama run deepseek-r1:32b

三、安装dify

Docker Compose 部署 | Difyhttps://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

1、克隆 Dify 源代码至本地环境

# 假设当前最新版本为 0.15.6
git clone https://gitee.com/dify_ai/dify.git --branch 0.15.6

重新建一个终端窗口, 

 2、启动dify

cd dify/docker
cp .env.example .env
docker compose up -d

 看到下面输出代表启动完成

 一些业务服务

这时候点击端口会出现两个运行的端口80和443 ,然后点击后面的浏览器图标,443的不行,不纠结,我们直接用80的 

这时候高大上的dify就运行成功了, 

设置邮箱、用户名密码,然后登录就可以进入界面

四、结束

我后面会继续写心得体会,大家一起学习,有问题可以留言 

### 配置环境 对于在GPU服务器上使用OllamaDify部署DeepSeek并启动服务的过程,首先需要确保服务器具备必要的硬件条件和支持软件。通常情况下,这涉及到NVIDIA GPU的支持库CUDA Toolkit及其配套的cuDNN版本匹配。 为了使整个过程顺利进行,在准备阶段应当确认操作系统支持,并完成驱动程序更新至最新稳定版[^1]。接着安装适用于Linux系统的Python解释器(建议3.8以上),以及pip包管理工具用于后续依赖项下载。 ```bash sudo apt-get update && sudo apt-get install python3-pip -y ``` ### 安装依赖 考虑到Ollama本身是一个简化了大型语言模型本地化流程的服务平台,因此可以直接遵循官方文档指导来进行操作。具体来说: - **安装Ollama** 使用简单的一条命令即可完成安装工作,该命令会自动处理所有必需组件的获取与设置。 ```bash curl -fsSL https://ollama.com/install.sh | bash - ``` - **集成Dify** Dify作为增强型接口层,可以更好地适配不同应用场景下的需求。假设已经拥有一个可用的Dify实例,则只需将其接入到现有环境中;如果尚未建立,则需参照项目仓库说明先行搭建。 对于基于FastAPI框架开发的应用,可以通过`uvicorn`来运行Web API服务端口监听任务。此时应特别注意调整参数以适应实际网络状况。 ```bash pip install uvicorn fastapi ``` ### 启动命令最佳实践 当上述准备工作完成后,就可以着手配置具体的启动脚本了。针对DeepSeek这类特定用途的大规模预训练模型,推荐做法是在启动前加载相应的权重文件,并指定好计算资源分配策略——比如优先利用GPU加速运算效率。 创建一个新的Shell脚本来封装这些细节,这样不仅便于管理和维护,也能有效减少人为失误的风险。下面给出一段示范性的代码片段供参考: ```bash #!/bin/bash export CUDA_VISIBLE_DEVICES=0,1 # 假设有两块显卡可供调度 source /path/to/your/virtualenv/bin/activate # 如果适用的话激活虚拟环境 cd /project/root/directory/ nohup ollama serve --model deepseek &> log.txt & disown %1 echo "Service started successfully." ``` 此段脚本实现了几个重要目标:明确了可见设备范围、启用了后台进程守护模式、记录日志以便事后排查问题所在。最后一步则是解绑当前shell终端连接以防意外中断影响正常运作。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值