本地知识库+本地大模型,借助RAGFlow搭建医院医疗问诊助手,纯本地,超实用!

RAG-Flow部署本地微调过的模型使用 在这篇博客中,我们将介绍如何在Ubuntu服务器上启动RAGFlow服务器。我们将确保系统配置满足RAGFlow的要求,然后通过Docker Compose来启动服务器。 阅读详情
AI摘要

本文介绍了使用RAGFlow搭建本地医疗问诊助手的方法。先阐述了纯本地构建的要素,接着说明了RAGFlow原理及特点。然后详细介绍了安装Ubuntu系统、win桌面版docker,部署启动ragflow,安装本地大模型和下载医疗数据集等步骤,最后讲解了RAGFlow使用、功能测试等内容。

使用Huggingface上的开源医疗数据集,借助 RAGFlow 搭建自己的本地医疗问诊助手。

纯本地构建:本地知识库+本地向量化模型+本地大模型
medical_QA+shaw/dmeta-embedding-zh+qwen2:7b

原理:RAGFlow是一个基于对文档深入理解的开源 RAG(检索增强生成)引擎。它的作用是可以让用户创建自有知识库,根据设定的参数对知识库中的文件进行切块处理,用户向大模型提问时,RAGFlow先查找自有知识库中的切块内容,接着把查找到的知识库数据输入到对话大模型中再生成答案输出

null

ragflow最大特点:不同的解析方法,支持丰富的文件类型,如Word、PPT、excel表格、csv/txt、图片、PDF、结构化数据、网页等
具体可以在本地部署成功后,在解析方法中查看

img

接下来,开始进入使用阶段,起舞··

一 使用自带的 WSL 安装 Ubuntu-22.04 系统

什么是WSL?WSL(Windows Subsystem for Linux)是微软开发的一项技术,允许用户在Windows系统中直接运行完整的Linux环境,无需虚拟机。通过操作系统级虚拟化,WSL将Linux子系统无缝嵌入Windows,提供原生Linux命令行工具、软件包管理器及应用程序支持。它具有轻量化、文件系统集成、良好的交互性及开发效率提升等优点,消除了Windows与Linux之间的隔阂,尤其适合开发者和需在Windows平台上使用Linux工具的用户。

1 启用window子系统及虚拟化

控制面板->程序和功能->启用或关闭window功能 或者:
win + r 键入 OptionalFeatures,直接打开
提示:winver查看 windows 系统版本:

null

最后,重启电脑后生效

2 将wsl,升级为wsl2

参考文章:zhuanlan.zhihu.com/p/704855705
说明:win默认系统自带了wsl,直接管理员身份打开cmd执行相关操作

相关命令:


wsl --update #升级到最新版本(wsl2)
wsl --list --online # 查看所有可用的发行版
wsl --install -d Ubuntu-22.04 # 安装 Ubuntu-22.04 系统
wsl -l -v # 显示当前安装了哪些系统
wsl --set-default-version 2 #设置wsl默认版本为wsl2
wsl.exe --set-version Ubuntu-22.04 2 #设置Ubuntu-22.04为 wsl2
wsl.exe --set-version Ubuntu-22.04 1 #设置为wsl1
wsl -d Ubuntu-22.04 #登录到Ubuntu环境

null

建议:wsl升级并设置默认版本为wsl2

3 启动操作安装的linux
使用 wsl:在 cmd(或powershell)输入 wsl(或者:wsl -d Ubuntu-22.04)
cat /etc/os-release #查看 Linux 的版本

null

设置时区命令:

timedatectl # 检查当前设置的时区
sudo timedatectl set-timezone Asia/Shanghai # 将时区设置为中国标准时间
timedatectl # 确保时区已经正确设置

操作 Linux 文件:
windows 文件资源管理器-> Linux 的标志,点击 Linux 就可以

null

二 安装win桌面版docker

win桌面版 地址:
www.docker.com/products/docker-desktop/
下载完之后,按照提示,一直点就行了哈

提示:因为安装完成后镜像很大(44G左右),默认会安装在C盘,建议更改到其他空闲盘

更改方法:设置–>Resourses

null

以下本项目用不到,可以忽略,因为docker用的是win桌面版docker

linux (学习在ubuntu上安装docker和docker compose)

安装docker :
https://zhuanlan.zhihu.com/p/651148141

安装 docker compose:

curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose #下载 docker-compose程序包
sudo chmod +x /usr/local/bin/docker-compose #添加可执行权限
docker-compose -v #查看版本

三 部署启动ragflow

以下命令在git bash 中执行

null

ragflow仓库:
github.com/infiniflow/ragflow/blob/main/README_zh.md

软硬件要求:硬件:CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB; 软件:Docker版本 ≥ 24.0.0 ;Docker Compose 版本 ≥ v2.26.1

#查看版本
docker -v
docker compose version

null

启动部署服务器:

#1 克隆仓库
git clone https://github.com/infiniflow/ragflow.git

#2 使用Docker镜像启动服务器(45 GB左右,约2小时左右)
修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点
HF_ENDPOINT=https://hf-mirror.com
$ cd ragflow/docker
$ chmod +x ./entrypoint.sh
$ docker compose -f docker-compose.yml up -d

# 3 确认服务器状态
docker logs -f ragflow-server

null

5 在浏览器中输入服务器对应的IP地址并登录RAGFlow (可在终端中用 ipconfig 查看ip)

null

点击signup注册,填入电邮地址和密码后,返回登录页,用刚刚注册的电邮地址和密码登录。

docker相关命令


sudo docker images # 查看镜像
docker ps # 列出正在运行的容器
# 进入名为 ragflow-server 的容器
docker exec -it ragflow-server /bin/bash
cd /ragflow
ls
# 退出容器
exit

相关bug:
bug1:无法正常下载(If inside mainland China)
解决1:修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点

bug2: dependency failed to start: container ragflow-mysql is unhealthy
解决2:docker compose down -v #移除所有本地数据
docker compose up -d

四 安装本地大模型LLM

安装ollama(一步步点就行)
地址:https://www.ollama.com/

null

下载qwen2:7b模型(4.4GB)阿里的千问大模型对中文很友好,所以选择它
说明,ollama中有许多开源模型,都可自行本地下载

ollama list #列出模型
ollama run qwen2:7b #下载运行模型
ollama rm          #删除模型
ollama show  #显示模型信息

null

下载Embedding模型
说明:一个免费的中文的向量化模型

ollama pull shaw/dmeta-embedding-zh
ollama list

null

最后用浏览器打开 http://localhost:11434
可以看到页面中显示:Ollama is running

五 下载医疗数据集

地址:
huggingface.co/datasets/InfiniFlow/medical_QA

null

medical_QA(医疗问诊助手数据集),它基于 PubMed 的数百万英文医疗论文,以及一些其他数据集,涵盖多个不同领域具有代表性的专业医疗数据,借助于 Agent 机制,提供中文问诊对话服务
ChatMed_Consult-v0.3.CSV 医疗咨询
Internal medicine_QA_all.csv 内科_QA_all.CSV
Medical Oncology_QA_all.csv 医学肿瘤学_QA_all.CSV
OB GYN_QA_all.csv 妇产科_QA_all.CSV
Pediatrics_QA_all.csv 儿科_QA_all.CSV
Andrology QA.CSV 男科QA.CSV S
urgical_QA_all.csv 外科_QA_all.CSV

六 RAGFlow 的使用

首先登录ragflow,进入后点击右上角图标

null

1 添加下载的本地千问模型和向量化模型

模型均在“第四步”做了安装
qwen2:7b:做问答chat的大模型
shaw/dmeta-embedding-zh:做embedding的,本地知识做向量化索引的

点击添加模型->按照如下添加向量化模型

因为ragflow使用的是docker,而ollama是在本地运行的,所以基础url为
base URL:http://host.docker.internal:11434

null

添加成功发后结果如下

null

2 创建知识库
2.1点击上方知识库–>创建知识库

null

2.2添加配置文件 语言选择中文,嵌入模型选择自己下载的,解析方法选择Q&A

null

2.3新增文件->上传第五步下载的医疗数据集QA

null

说明:如果不能一起上传,就单个上传

3 开始解析,等待成功 上传后点击右边放启动按钮,开始解析,等待解析成功,我这里文件80M左右,大约90分钟
原理:将每个QA对做成向量,用于提问后的匹配检索

null

4 检索测试 简单测试下知识库的相关搜索性

null

七 功能测试与使用

1 聊天(添加助理)

聊天–>添加助理–>配置相关参数(模型选择qwen2:7b) -->确定

null

模型选择qwen2:7b

null

测试聊天效果

null

2后端api服务
说明:通过部署的本地知识库大模型,不仅可以自己使用,还可以通过api给其他应用使用
右键打开聊天api

null

创建密钥

null

3 使用python程序调用

文档地址:https://ragflow.io/docs/dev/api

代码效果测试:

null

说明:测试代码太多了,就不贴了

希望对大家有用,

收集自己的行业数据集,快速在本地部署属于自己的专有大模型

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

RAGFlow 学习笔记 阅读详情

相关推荐

RagFlow 完全指南(一):从零搭建开源大模型应用平台(Ollama、VLLM本地模型接入实战)

RagFlow 是一个基于深度文档理解的自动化 RAG(Retrieval-Augmented Generation)工作流工具,支持从多种复杂格式的非结构化数据中提取信息。其核心特性包括基于模板的文本切片、降低幻觉、兼容异构数据源以及支持大语言模型和向量模型的配置。RagFlow 提供了易用的 API,可轻松集成到企业系统中。安装与部署过程依赖于 Docker 和 Docker Compose,支持 CPU 和 GPU 环境。用户可以通过本地模型(如 Ollama 和 VLLM)进行接入,并提供了详细的配

冷不丁 3617

一文读懂RAGFlow:从 0 到 1教你搭建RAG知识库

RAGFlow是一种融合了数据检索与生成式模型的新型系统架构,其核心思想在于将大规模检索系统与先进的生成式模型(如Transformer、GPT系列)相结合,从而在回答查询时既能利用海量数据的知识库,又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块:数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息,而生成模块则基于检索结果生成高质量的回答或文本内容。

python12345_的博客 8024

Lm317电压源芯片制作电流源

还在找电流源芯片么?如何使用电压源芯片快速搭建电流源。

Ekko的博客 1万+

大模型LLM | 本地知识库+本地大模型,借助RAGFlow搭建医院医疗问诊助手,纯本地,超实用!

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

m0_56255097的博客 2520

CODESYS V3.5 SP17编程环境全攻略:从安装到多语言编程实战

本文全面解析CODESYS V3.5 SP17编程环境,从安装配置到多语言编程实战技巧。详细介绍了运行时环境设置、六种IEC 61131-3语言的特性对比与混合编程策略,以及高级功能开发如自定义算法模块和实时通信配置。适合工业自动化工程师快速掌握这一强大工具。

weixin_30632089的博客 489

f_fs.c 初始化流程(进行中)

前言 之所以选择f_fs.c作为这系列的开始,因为usb在/driver/usb下面的内容实在太多太多,如果讲各种各样点会太分散了。所以决定切入点以实际使用为主,就是f_fs了,目前我了解这是做bulk裸传输使用的,具体的通信协议自己确定。 初始化部分 开始点从这个路径下说起, /drivers/usb/gadget/function/f_fs.c 然后f_fs.c第一个使用的是include/composite.h中的宏定义function #define DECLARE_USB_FUNCTION(_n

weixin_36406973的博客 1967

本地RAG知识库+本地大模型,借助RAGFlow搭建医院医疗问诊助手,纯本地,超实用!

RAGFlow是一个基于对文档深入理解的开源 RAG(检索增强生成)引擎。它的作用是可以让用户创建自有知识库,根据设定的参数对知识库中的文件进行切块处理,用户向大模型提问时,RAGFlow先查找自有知识库中的切块内容,接着把查找到的知识库数据输入到对话大模型中再生成答案输出

Y525698136的博客 1416

CGNS快速入门到实战(二):VS配置调用CGNS静态链接库

CGNS快速入门到实战这一系列分成三篇文章展开叙述,具体有:(一)CGNS静态链接库编译;(二)VS配置调用CGNS静态链接库;(三)CGNS文件及案例展示。本篇文章重点讲述VS配置调用CGNS静态链接库。

ahang_99的博客 2618
上一篇: 本地springboot集成ollama调用千问大模型
下一篇: AI赋能:AI重新定义产品经理(附PDF免费下载)
AI程序猿人
博客等级 码龄3年 6517粉丝 561原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值