docker-compose本地部署FastGPT与简单使用

fastgpt本地详细部署以及配置 在 CentOS 上,如果您想让普通用户安装和使用 Docker,您需要执行以下步骤。oneapi中的通用key,如果配置的是本地chatglm或者m3e向量模型,填以下key即可。注:配置oneapi服务地址,如果127.0.0.1 不管用,使用服务器中的ifconfig。请注意,用户必须注销并重新登录才能在不使用 sudo 的情况下运行 Docker 命令。最后访问:127.0.0.1:4000即可,默认用户root,默认密码1234。注:如果中间出现奇奇怪怪的问题,可以重新拉取,删掉容器重新启动。 阅读详情
AI摘要

本文记录了本地部署FastGPT的过程,包括ollama安装、docker compose快速部署等步骤,介绍了FastGPT基于大语言模型的知识库问答系统能力。此外,还分享了全套AGI大模型学习路线、640套报告合集、经典PDF书籍及商业化落地方案等AI大模型学习资料。

一、背景与环境说明

本文主要对如何在本地部署FastGPT进行记录与说明,因为笔者暂时不是专门从事AI与大模型研究工作且目前理解不够,所以还不能对其中配置细节与原理阐述清楚,有待后续发掘。

主机名IP操作系统规格GPU情况备注
t1-gpu10.12.62.25Ubuntu 20.04.3 LTS -amd648c16g+400GNVIDIA A10*1部署m3e向量模型
controller01172.20.0.21Ubuntu 20.04.3 LTS -amd6416c64g+400G无部署其他所有服务或进程

二、ollama安装与使用

ollama官网:www.ollama.com

ollama的github仓库地址:https://github.com/ollama/ollama

通过ollma下载模型:ollama pull 模型链接, 模型链接查看地址:https://www.ollama.com/library

#以下操作在172.20.0.21上操作,操作系统是Ubuntu 20.04.3 LTS -amd64,RB
#相关操作在一个名为self-llm的conda环境执行:
conda activate /root/miniconda3/envs/self-llm

修改ollama的systemd service配置文件

#修改ollama的systemd service配置文件
(self-llm) root@controller01:~# vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/root/anaconda3/envs/graphrag-test/bin:..."
Environment="OLLAMA_HOST=0.0.0.0"  #添加此行内容(否则后面docker容器化部署的open-webui不能读取到此服务器上的模型)
[Install]
WantedBy=default.target

#重启ollama服务
(self-llm) root@controller01:~# systemctl daemon-reload
(self-llm) root@controller01:~# systemctl restart ollama
#查看ollama管理的模型
(self-llm) root@controller01:~# ollama list
NAME                                   ID             SIZE   MODIFIED    
qwen:0.5b                               b5dc5e784f2a    394 MB  5 hours ago
deepseek-coder:1.3b                     3ddd2d3fc8d2    776 MB  6 hours ago
quentinz/bge-large-zh-v1.5:latest       bc8ca0995fcd    651 MB  3 months ago
gemma2:9b                               ff02c3702f32    5.4 GB  3 months ago


#查看ollama命令的用法
(self-llm) root@controller01:~# ollama
Usage:
ollama [flags]
ollama [command]

Available Commands:
serve       Start ollama
create     Create a model from a Modelfile
show       Show informationfor a model
run         Run a model
pull       Pull a model from a registry
push       Push a model to a registry
list       List models
 ps         List running models
 cp         Copy a model
 rm         Remove a model
help       Help about any command

Flags:
 -h,--help     helpfor ollama
 -v,--version   Show version information

Use"ollama [command] --help"for more information about a command.

从ollama官网的模型列表中查看某个具体模型的信息:

在这里插入图片描述

#通过ollama运行上述模型,如果模型文件本身不存在,ollama会先去下载模型文件本身到本地
(self-llm) root@controller01:~# ollama run deepseek-coder:1.3b
pulling manifest
pulling d040cc185215...100% ▕█████████████████████████████████████████████████████████████████████████████████▏776 MB
pulling a3a0e9449cb6...100% ▕█████████████████████████████████████████████████████████████████████████████████▏13 KB        
pulling 8893e08fa9f9...100% ▕█████████████████████████████████████████████████████████████████████████████████▏59 B          
pulling 8972a96b8ff1...100% ▕█████████████████████████████████████████████████████████████████████████████████▏297 B        
pulling d55c9eb1669a...100% ▕█████████████████████████████████████████████████████████████████████████████████▏483 B        
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> 你是谁?                      #此处就可以输入问题进行提问。如果要结束运行就输入“ctrl+d”

2.1 docker部署open webui(成功)

官网地址:https://github.com/open-webui/open-webui

#通过容器方式启动与运行
(self-llm) root@controller01:~# docker run -d -p 18080:8080 --add-
host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-
webui --restart always ghcr.io/open-webui/open-webui:main

然后可以通过服务器IP+18080端口,即http://172.20.0.21:18080访问 open webui的web界面。

在这里插入图片描述

第一次登录需要注册一个用户,然后使用此用户登录与使用。

选择一个ollama管理的模型,然后可以进行对话:

在这里插入图片描述

img

三、Docker compose快速部署fastgpt

3.1 FastGPT介绍

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!FastGPT 是开源项目,遵循附加条件 Apache License 2.0 开源协议,可以Fork之后进行二次开发和发布。FastGPT 社区版将保留核心功能,商业版仅在社区版基础上使用 API 的形式进行扩展,不影响学习使用。

3.1.1 FastGPT 能力

3.1.1.1 专属 AI 客服

通过导入文档或已有问答对进行训练,让 AI 模型能根据你的文档以交互式对话方式回答问题。

3.1.1.2 简单易用的可视化界面

FastGPT 采用直观的可视化界面设计,为各种应用场景提供了丰富实用的功能。通过简洁易懂的操作步骤,可以轻松完成 AI 客服的创建和训练流程。

3.1.1.3 自动数据预处理

提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径,其中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割,节省手动训练时间,提升效能。

3.1.1.4 工作流编排

基于 Flow 模块的工作流编排,可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等。

3.1.1.5 强大的 API 集成

FastGPT 对外的 API 接口对齐了 OpenAI 官方接口,可以直接接入现有的 GPT 应用,也可以轻松集成到企业微信、公众号、飞书等平台。

3.1.2 其他说明

参考:https://doc.tryfastgpt.ai/docs/development/docker/

  • MongoDB:用于存储除了向量外的各类数据
  • PostgreSQL/Milvus:存储向量数据
  • OneAPI: 聚合各类 AI API,支持多模型调用 (任何模型问题,先自行通过 OneAPI 测试校验)

3.2 安装docker 和 docker-compose

# 安装 Docker
curl-fsSL https://get.docker.com |bash-s docker--mirror Aliyun
systemctl enable--now docker
# 安装 docker-compose
curl-L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m`-o /usr/bin/docker-compose
chmod+x /usr/bin/docker-compose
# 验证安装
docker-v
docker-compose-v

3.3 下载docker-compose.yml

root@controller01:~# conda activate /root/miniconda3/envs/self-llm
root@controller01:~# cd /root/miniconda3/envs/self-llm
(self-llm) root@controller01:~/miniconda3/envs/self-llm# mkdir fastgpt
(self-llm) root@controller01:~/miniconda3/envs/self-llm# cd fastgpt
(self-llm) root@controller01:~/miniconda3/envs/self-llm# wget https://raw.githubusercontent.com/labring/FastGPT/refs/heads/main/projects/app/data/config.json

# pgvector 版本(测试推荐,简单快捷)
(self-llm) root@controller01:~/miniconda3/envs/self-llm# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# cp -p docker-compose-pgvector.yml docker-compose.yml
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# ll
total32
drwxr-xr-x  2 root root4096 Nov  716:26 ./
drwxr-xr-x14 root root4096 Nov  716:35 ../
-rw-r--r--  1 root root6771 Nov  716:25 config.json
-rw-r--r--  1 root root5644 Nov  716:26 docker-compose-pgvector.yml
-rw-r--r--  1 root root5644 Nov  716:26 docker-compose.yml

#1)编辑docker-compose.yml,使用阿里云镜像
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# vi docker-compose.yml
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# grep "image:" docker-compose.yml
  #image: pgvector/pgvector:0.7.0-pg15 # docker hub
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0# 阿里云
  #image: mongo:5.0.18 # dockerhub
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18# 阿里云
  # image: mongo:4.4.29 # cpu不支持AVX时候使用
  #image: ghcr.io/labring/fastgpt-sandbox:v4.8.11 # git
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.11# 阿里云
  #image: ghcr.io/labring/fastgpt:v4.8.11 # git
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.11# 阿里云
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36# 阿里云
  #image: mysql:8.0.36
  #image: ghcr.io/songquanpeng/one-api:v0.6.7
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6# 阿里云

#2)修改mysql容器在宿主机上的映射端口为3307(我宿主机上3307端口已经被其他服务占用了)
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# vi docker-compose.yml
 # oneapi
 mysql:
   image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36# 阿里云
  #image: mysql:8.0.36
   container_name: mysql
  restart: always
   ports:
    -3307:3306          #此修改此处
   networks:
    - fastgpt
   command:--default-authentication-plugin=mysql_native_password
   environment:
    # 默认root密码,仅首次运行有效
     MYSQL_ROOT_PASSWORD: oneapimmysql
     MYSQL_DATABASE: oneapi
   volumes:
    - ./mysql:/var/lib/mysql
 oneapi:
   container_name: oneapi
  #image: ghcr.io/songquanpeng/one-api:v0.6.7
   image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6# 阿里云
   ports:
    -3001:3000
   depends_on:
    - mysql
   networks:
    - fastgpt
  restart: always
   environment:
    # mysql 连接参数
    -SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi

#3)修改OPENAI_BASE_URL的值,CHAT_API_KEY的值暂时不变后续再改
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# vi docker-compose.yml
# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
###- OPENAI_BASE_URL=http://oneapi:3000/v1
-OPENAI_BASE_URL=http://172.20.0.21:3001/v1
# AI模型的API Key。(这里默认填写了OneAPI的快速默认key,测试通后,务必及时修改)
-CHAT_API_KEY=sk-fastgpt

#4)在oneapi容器后,再添加一个m3e容器
#(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# vi docker-compose.yml
# m3e:
#   image: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
#   container_name: m3e
#   restart: always
#   ports:
#     - 6008:6008
#   networks:
#     - fastgpt
#   deploy:
#     resources:
#       reservations:
#         devices:
#           - driver: nvidia
#             count: 1
#             capabilities: [gpu]

#相关容器说明:
#pgvector:向量数据库
#mongdb:存储用户信息、文件文档信息
#fastgpt:主程序,其中用到了config.json文件
#mysql:
#oneapi:接口统一

3.4 启动m3e向量模型(如果在docker-compose.ym中没配置)

#启动m3e向量模型在上述说明的安装有一个NVIDIA A10 GPU的服务器t1-gpu(ip:10.12.62.25)上操作
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

#GPU模式启动, 并把m3e加载到fastgpt同一个网络(使用一张卡:--gpus='"device=0"';使用第0,1张卡:--gpus='"device=0,1"';使用全部GPU:--gpus all)
#它默认会将容器的6008端口映射到宿主机的6008端口
docker run-dt \
 --name m3e-large-api \
 --gpus all \
 --privileged \
 --net=host \
 --ipc=host \
 --ulimitmemlock=-1 \
 --ulimitstack=67108864 \
registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

####CPU模式启动, 并把m3e加载到fastgpt同一个网络(不必要是使用fastgpt网络)
###docker run -d -p 6008:6008 --name m3e --network fastgpt_fastgpt registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

3.5 修改 config.json 文件

#在llmModels部分添加如下模型配置
#其中 deepseek-coder:1.3b 是先前通过ollama已经拉取下来的模型
 {
    "model":"deepseek-coder:1.3b",
    "name":"deepseek-coder:1.3b",
    "avatar":"/imgs/model/openai.svg",
    "maxContext":128000,
    "maxResponse":4000,
    "quoteMaxToken":100000,
    "maxTemperature":1.2,
    "charsPointsPrice":0,
    "censor":false,
    "vision":false,
    "datasetProcess":true,
    "usedInClassify":true,
    "usedInExtractFields":true,
    "usedInToolCall":true,
    "usedInQueryExtension":true,
    "toolChoice":false,
    "functionCall":false,
    "customCQPrompt":"",
    "customExtractPrompt":"",
    "defaultSystemChatPrompt":"",
    "defaultConfig": {
      "temperature":1,
      "stream":false
   },
    "fieldMap": {
      "max_tokens":"max_completion_tokens"
   }
 }

#在 vectorModels 部分添加如下模型配置。
#其中这个m3e模型就是先前在docker-compose.ym文件中手动新添加的向量模型
 {
    "model":"m3e",
    "name":"M3E",
    "price":0,
    "defaultToken":500,
    "maxToken":1800
 }

3.6 启动容器

(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# docker-compose up -d

#启动完成后,查看容器列表
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# docker-compose ps
NAME               IMAGE                                                               COMMAND                 SERVICE             CREATED             STATUS             PORTS
fastgpt             registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.11          "sh -c 'node --max-o…"   fastgpt            39 seconds ago     Up37 seconds      0.0.0.0:3000->3000/tcp, :::3000->3000/tcp
mongo               registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18              "bash -c 'openssl ra…"   mongo              39 seconds ago     Up37 seconds      0.0.0.0:27017->27017/tcp, :::27017->27017/tcp
mysql               registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36              "docker-entrypoint.s…"   mysql              39 seconds ago     Up37 seconds      33060/tcp,0.0.0.0:3307->3306/tcp, :::3307->3306/tcp
oneapi             registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6            "/one-api"               oneapi              39 seconds ago     Up35 seconds      0.0.0.0:3001->3000/tcp, :::3001->3000/tcp
pg                 registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0          "docker-entrypoint.s…"   pg                  39 seconds ago     Up37 seconds      0.0.0.0:5432->5432/tcp, :::5432->5432/tcp
sandbox             registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.11  "docker-entrypoint.s…"   sandbox            39 seconds ago     Up37 seconds

3.7 打开 OneAPI 添加模型

可以通过ip:3001访问OneAPI,默认账号为root密码为123456。

在OneApi中添加合适的AI模型渠道。点击查看相关教程

3.7.1 登录OneApi

在这里插入图片描述

3.7.2 创建令牌和渠道

3.7.2.1 创建令牌

在这里插入图片描述

3.7.2.2 创建渠道

在这里插入图片描述

在这里插入图片描述

3.7.2.1.1 创建ollama渠道

在这里插入图片描述

  • 上图中Base URL样中,更建议将host.docker.internal 换成对应的ip地址。
  • 上图中创建ollama渠道时,模型栏可以将ollama中已经拉取到所有模型都填写进去。

提交后,可以点击"测试"按钮进行测试:

在这里插入图片描述

3.7.2.1.2 创建m3e渠道

在这里插入图片描述

在这里插入图片描述

此处 m3e 渠道测试时报404,暂时不理会。

3.8 重启fastgpt相关容器

复制 ollama 令牌的密钥:

在这里插入图片描述

sk-ZJ0I49yR2NYUG9mu326cF283380b46159d2b347eB00eD8E3

修改docker.compose.yml文件:

(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# vi docker-compose.yml
...
fastgpt:
 container_name: fastgpt
  #image: ghcr.io/labring/fastgpt:v4.8.11 # git
 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.11# 阿里云
 ports:
    -3000:3000
 networks:
    - fastgpt
 depends_on:
    - mongo
    - pg
    - sandbox
    - oneapi
  restart: always
 environment:
    # root 密码,用户名为: root。如果需要修改 root 密码,直接修改这个环境变量,并重启即可。
    -DEFAULT_ROOT_PSW=1234
    # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
    ###- OPENAI_BASE_URL=http://oneapi:3000/v1
    -OPENAI_BASE_URL=http://host.docker.internal:3001/v1
    # AI模型的API Key。(这里默认填写了OneAPI的快速默认key,测试通后,务必及时修改)
    #- CHAT_API_KEY=sk-fastgpt
    -CHAT_API_KEY=sk-ZJ0I49yR2NYUG9mu326cF283380b46159d2b347eB00eD8E3              #####修改这里
...

执行重启容器:

(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# docker-compose down
(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# docker-compose up -d

(self-llm) root@controller01:~/miniconda3/envs/self-llm/fastgpt# docker-compose ps  
NAME               IMAGE                                                               COMMAND                 SERVICE             CREATED             STATUS             PORTS
fastgpt             registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.11          "sh -c 'node --max-o…"   fastgpt            8 seconds ago       Up5 seconds        0.0.0.0:3000->3000/tcp, :::3000->3000/tcp
mongo               registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18              "bash -c 'openssl ra…"   mongo              8 seconds ago       Up6 seconds        0.0.0.0:27017->27017/tcp, :::27017->27017/tcp
mysql               registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36              "docker-entrypoint.s…"   mysql              8 seconds ago       Up6 seconds        33060/tcp,0.0.0.0:3307->3306/tcp, :::3307->3306/tcp
oneapi             registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6            "/one-api"               oneapi              8 seconds ago       Up5 seconds        0.0.0.0:3001->3000/tcp, :::3001->3000/tcp
pg                 registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0          "docker-entrypoint.s…"   pg                  8 seconds ago       Up6 seconds        0.0.0.0:5432->5432/tcp, :::5432->5432/tcp
sandbox             registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.11  "docker-entrypoint.s…"   sandbox            8 seconds ago       Up7 seconds     

3.9 访问与使用 FastGPT

目前可以通过ip:3000直接访问(注意防火墙)。登录用户名为root,密码为docker-compose.yml环境变量里设置的DEFAULT_ROOT_PSW。

如果需要域名访问,请自行安装并配置 Nginx。

首次运行,会自动初始化 root 用户,密码为1234(与环境变量中的DEFAULT_ROOT_PSW一致),日志里会提示一次MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;可忽略。

在这里插入图片描述

登录后,默认是没有可用的应用的。

3.9.1 创建通用知识库

在这里插入图片描述

3.9.2 知识库导入数据集

在这里插入图片描述

在这里插入图片描述

此处选择本地一个doc 文件,然后下一步:

在这里插入图片描述

选择问答拆分,然后下一步:

在这里插入图片描述

开始上传:

上传完成后:

在这里插入图片描述

3.9.3 创建应用

在这里插入图片描述

选择“知识库+对话引导”:

在这里插入图片描述

3.9.4 配置应用

在这里插入图片描述

选择deepseek-coder:1.3b:

在这里插入图片描述

关联知识库:

在这里插入图片描述

选择先前创建的知识库:

在这里插入图片描述

然后,右上角,点击“保存并发布”。

四、备注

4.1 现有问题

4.1.1 每次使用问答功能时,fastgpt容器日志中会有如下错误

在这里插入图片描述

解决办法:

暂未解决。从网上查看的资料来看,极可能是config.json文件中关于模型的某个参数配置不正确或不恰当所致,但不知是哪个具体是哪个地方的配置不当所致。此报错暂时不影响整体功能

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

Ollama部署本地大模型 Ollama 阅读详情

相关推荐

DeepSeek+Fastgpt(一文教会你本地部署自己的AI助手)

本文指导您如何结合DeepSeek与FastGPT搭建本地知识库。两者结合,将为您打造一个个性化、高效且功能强大的本地知识管理系统。

xianglichenai的博客 2377

保姆级教程:FastGPT构建个人本地知识库(Docker compose快速部署)

FastGPT构建个人知识库,使用Docker compose部署

m0_62536353的博客 6万+

本地部署FastGPT(windows版)

本文章,结合的其他人安装教程总结的!!!!我安装的是。

kkliuoxo的博客 7182

本地部署 FastGPT

本地部署 FastGPT

engchina的专栏 9908

本地搭建自己的专属客服之部署fastgpt《上》

传送门-安装ollama部署deepseek-r1模型。

小码农吗 1131

Fastgpt本地使用Docker Compose 快速部署

修改文件,并执行再执行d重起容器。具体配置,参考配置详解。可以查看日志,在启动容器后,第一次请求网页,会进行配置文件读取,可以看看有没有读取成功以及有无错误日志。进入 FastGPT 容器,可以通过ls data查看目录下是否成功挂载文件。可通过查看配置文件。可能不生效的原因挂载目录不正确配置文件不正确,日志中会提示invalid json,配置文件需要是标准的 JSON 文件。

洛阳泰山的博客 1634

保姆级教程:FastGPT构建个人本地知识库(Docker compose快速部署)_fastgpt本地部署

本教程的核心焦点在于简化部署过程。我们将通过Docker Compose这一强大工具,快速搭建FastGPT驱动的知识库。然而,需要注意的是,教程更多地关注于部署操作本身,而非FastGPT的深入原理探讨。因此,如果您对FastGPT的工作机制和技术细节感兴趣,我强烈建议查阅官方文档进行更深入的学习。FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!

chengxuyuanyy的博客 5282

如何使你的直流电机闭环?(PID讲解)

看了看很多大佬写的PID讲解很全面也很复杂,实在是不适合很多萌新入坑,所以想按自己的理解写一篇通俗易懂的PID算法讲解

a2001444的博客 1万+

使用 Docker Compose 快速部署 FastGPT

*修改文件,并执行再执行重起容器。具体配置,参考配置详解。**可以查看日志,在启动容器后,第一次请求网页,会进行配置文件读取,可以看看有没有读取成功以及有无错误日志。进入 FastGPT 容器,可以通过ls data查看目录下是否成功挂载文件。可通过查看配置文件。可能不生效的原因挂载目录不正确配置文件不正确,日志中会提示,配置文件需要是标准的 JSON 文件。修改后,没有再,restart是不会重新挂载文件的。

学亮编程手记 1838

1020空心杯电机驱动设计与ESP32实战

空心杯电机是一种高动态响应的直流微特电机,其驱动本质是解决电感负载下的大di/dt启动、反电动势耦合与电流纹波抑制问题。核心原理在于建立包含内阻、电感和反电动势的等效电路模型,并据此匹配开关器件、PWM参数与采样闭环。技术价值体现在小体积下实现毫秒级响应、低噪声(>30kHz)、高精度电流保护(±50mA)及热鲁棒性。典型应用于微型航模、手持云台与精密执行器等对功率密度和动态性能敏感的嵌入式系统。本文以1020规格空心杯电机为对象,基于ESP32平台完成从MOSFET选型、32kHz硬件PWM生成到INA2

weixin_42298164的博客 594

NC65实现Restful接口开发及调试

NC65实现Restful接口开发及调试

linzhongshu的专栏 2148

使用docker-compose一键本地化部署fastgpt,并连接本地ollama部署的大模型

环境:win11+wsl2+docker,但主要操作在wsl中完成。

qq_47814951的博客 2795

K8S证书过期解决办法之替换证书

k8s证书过期解决方案之替换证书

q_hsolucky的博客 1万+

使用 Docker Compose 快速部署 FastGPT 及 FAQ

修改文件,并执行再执行重起容器。具体配置,参考配置详解。可以查看日志,在启动容器后,第一次请求网页,会进行配置文件读取,可以看看有没有读取成功以及有无错误日志。进入 FastGPT 容器,可以通过ls data查看目录下是否成功挂载文件。可通过查看配置文件。可能不生效的原因挂载目录不正确配置文件不正确,日志中会提示,配置文件需要是标准的 JSON 文件。修改后,没有再,restart是不会重新挂载文件的。

学亮编程手记 1910

Cesium进阶学习四、shadertoy(着色器)

Cesium进阶学习着色器

程迷学习的博客 4325

视觉SLAM与激光SLAM简单对比分析

本文旨在梳理目前较为前沿的SLAM技术,包括激光和视觉,主要从精度和实时性两个方面对算法进系评价。对于激光SLAM了解不深,后期需要补充相关算法的核心思想与算法框架。有问题请大佬们随时留言,我再改正。

超爱吃小蛋糕的66的博客 3856

FastGPT Docker Compose本地部署与硅基流动免费AI接口集成指南

FastGPT是基于LLM的知识库问答系统,支持自定义数据训练与多模型接入。硅基流动(SiliconFlow)作为AI基础设施平台,提供高性能大模型推理引擎SiliconLLM和免费API服务。通过Docker部署FastGPT并结合硅基流动API,可实现低成本、高灵活性的AI应用开发。:硅基流动提供Qwen2-7B、GLM-4-9B等模型永久免费API,降低Token成本。选择“知识库管理”→“新建知识库”,配置向量化模型(如M3E)。​,若看到FastGPT界面,则部署成功。

Franciz777的博客 2364

【RT-DETR有效改进】利用EMAttention加深网络深度提高模型特征提取能力(特征选择模块)

本文给大家带来的改进机制是EMAttention注意力机制,它的核心思想是,重塑部分通道到批次维度,并将通道维度分组为多个子特征,以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重,并通过跨维度交互来捕获像素级别的关系。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101,文章中均以提供,本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进,

Snu77的博客 3172

FastGPT本地知识库搭建指南:Docker Compose快速部署教程

本教程的核心焦点在于简化部署过程。我们将通过Docker Compose这一强大工具,快速搭建FastGPT驱动的知识库。然而,需要注意的是,教程更多地关注于部署操作本身,而非FastGPT的深入原理探讨。因此,如果您对FastGPT的工作机制和技术细节感兴趣,我强烈建议查阅官方文档进行更深入的学习。FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!

2401_85390073的博客 1933

SAP CPI 之使用国密算法实现SM系列算法加解密

System.out.println("SM2-私钥:" + privateKey);System.out.println("SM2-公钥:" + publicKey);System.out.println("SM2-密文:" + encrypts);System.out.println("SM2-明文:" + data2);新建groovy,通过import之后,调用jar包中的方法。在CP中导入jar包,选择Upload,选中导入的jar包。的密钥和向量值,不安全!的公钥和私钥,不安全!

u012830826的博客 1335

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【Oneapi+FastGPT部署本地大模型】

总结:三者之间的关系就是,OneAPI作为“中间商”接入本地大模型+FastGPT通过OneAPI生成的令牌等参数调用本地大模型。最终FastGPT可以用我们本地部署的大模型进行对话等自然语言处理。本文我们利用将Oneapi、FastGPT部署到Linux系统中的一个中。

Neverlanding_的博客 2769

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【fastgpt实战】Docker Compose一键部署FastGPT与Ollama本地模型整合指南

本文详细介绍了如何使用Docker Compose一键部署FastGPT与Ollama本地模型整合方案,实现私有化AI问答系统。通过FastGPT的开源知识库问答系统与Ollama的轻量级大模型部署工具结合,开发者可以快速构建自主可控的AI解决方案,特别适合数据隐私保护、原型验证等场景。文章包含环境配置、部署步骤、模型整合及性能优化等实用指南。

terraform7cloud的博客 747

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

FastGPT 官方文档 | 使用 Docker Compose 快速部署 FastGPT

修改文件,并执行再执行重起容器。具体配置,参考配置详解。可以查看日志,在启动容器后,第一次请求网页,会进行配置文件读取,可以看看有没有读取成功以及有无错误日志。进入 FastGPT 容器,可以通过ls data查看目录下是否成功挂载文件。可通过查看配置文件。可能不生效的原因挂载目录不正确配置文件不正确,日志中会提示,配置文件需要是标准的 JSON 文件。修改后,没有再,restart是不会重新挂载文件的。

风迦叶的部落格 1874

FastGPT极速上手指南:Docker容器化部署实战

使用 Docker Compose 快速部署 FastGPT 4.9.7版本

分享实践与思考 3957
上一篇: 微调一个自己的大模型(腾讯云cloud studio + llama factory)
下一篇: 从销售到 AI 算法工程师 | 转行人工智能大模型(含面经&裁员幸存指南)
少喝冰美式
博客等级 码龄3年 6854粉丝 517原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值