RAGFlow实战教程:本地知识库+大模型,打造医院医疗问诊助手,纯本地化解决方案!

使用Huggingface上的开源医疗数据集,借助 RAGFlow 搭建自己的本地医疗问诊助手。

纯本地构建:本地知识库+本地向量化模型+本地大模型
medical_QA+shaw/dmeta-embedding-zh+qwen2:7b

原理:RAGFlow是一个基于对文档深入理解的开源 RAG(检索增强生成)引擎。它的作用是可以让用户创建自有知识库,根据设定的参数对知识库中的文件进行切块处理,用户向大模型提问时,RAGFlow先查找自有知识库中的切块内容,接着把查找到的知识库数据输入到对话大模型中再生成答案输出

 

ragflow最大特点:不同的解析方法,支持丰富的文件类型,如Word、PPT、excel表格、csv/txt、图片、PDF、结构化数据、网页等
具体可以在本地部署成功后,在解析方法中查看


接下来,开始进入使用阶段,起舞··

一 使用自带的 WSL 安装 Ubuntu-22.04 系统

什么是WSL?WSL(Windows Subsystem for Linux)是微软开发的一项技术,允许用户在Windows系统中直接运行完整的Linux环境,无需虚拟机。通过操作系统级虚拟化,WSL将Linux子系统无缝嵌入Windows,提供原生Linux命令行工具、软件包管理器及应用程序支持。它具有轻量化、文件系统集成、良好的交互性及开发效率提升等优点,消除了Windows与Linux之间的隔阂,尤其适合开发者和需在Windows平台上使用Linux工具的用户。

1 启用window子系统及虚拟化

控制面板->程序和功能->启用或关闭window功能 或者:
win + r 键入 OptionalFeatures,直接打开
提示:winver查看 windows 系统版本:

 

最后,重启电脑后生效

2 将wsl,升级为wsl2

参考文章:zhuanlan.zhihu.com/p/704855705
说明:win默认系统自带了wsl,直接管理员身份打开cmd执行相关操作

相关命令:

wsl --update #升级到最新版本(wsl2)wsl --list --online # 查看所有可用的发行版wsl --install -d Ubuntu-22.04 # 安装 Ubuntu-22.04 系统wsl -l -v # 显示当前安装了哪些系统wsl --set-default-version 2 #设置wsl默认版本为wsl2wsl.exe --set-version Ubuntu-22.04 2 #设置Ubuntu-22.04为 wsl2wsl.exe --set-version Ubuntu-22.04 1 #设置为wsl1wsl -d Ubuntu-22.04 #登录到Ubuntu环境

 

建议:wsl升级并设置默认版本为wsl2

3 启动操作安装的linux
使用 wsl:在 cmd(或powershell)输入 wsl(或者:wsl -d Ubuntu-22.04)
cat /etc/os-release #查看 Linux 的版本

 

设置时区命令:

timedatectl # 检查当前设置的时区
sudo timedatectl set-timezone Asia/Shanghai # 将时区设置为中国标准时间
timedatectl # 确保时区已经正确设置

操作 Linux 文件:
windows 文件资源管理器-> Linux 的标志,点击 Linux 就可以

 

二 安装win桌面版docker

win桌面版 地址:
www.docker.com/products/docker-desktop/
下载完之后,按照提示,一直点就行了哈

提示:因为安装完成后镜像很大(44G左右),默认会安装在C盘,建议更改到其他空闲盘

更改方法:设置-->Resourses

以下本项目用不到,可以忽略,因为docker用的是win桌面版docker

linux (学习在ubuntu上安装docker和docker compose)

安装docker :
https://zhuanlan.zhihu.com/p/651148141

安装 docker compose:

​​​​​​​

curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose #下载 docker-compose程序包sudo chmod +x /usr/local/bin/docker-compose #添加可执行权限docker-compose -v #查看版本

三 部署启动ragflow

以下命令在git bash 中执行

 

ragflow仓库:
github.com/infiniflow/ragflow/blob/main/README_zh.md

软硬件要求:硬件:CPU ≥ 4 核 ;   内存≥ 16 GB;  磁盘空间 ≥ 50 GB; 软件:Docker版本 ≥ 24.0.0 ;Docker Compose 版本 ≥ v2.26.1

​​​​​​​
#查看版本docker -vdocker compose version

 

启动部署服务器:

​​​​​​​

#1 克隆仓库git clone https://github.com/infiniflow/ragflow.git
#2 使用Docker镜像启动服务器(45 GB左右,约2小时左右)修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点HF_ENDPOINT=https://hf-mirror.com$ cd ragflow/docker$ chmod +x ./entrypoint.sh$ docker compose -f docker-compose.yml up -d
# 3 确认服务器状态docker logs -f ragflow-server

 

5 在浏览器中输入服务器对应的IP地址并登录RAGFlow (可在终端中用 ipconfig 查看ip)

 

点击signup注册,填入电邮地址和密码后,返回登录页,用刚刚注册的电邮地址和密码登录。

docker相关命令

​​​​​​​

sudo docker images # 查看镜像docker ps # 列出正在运行的容器# 进入名为 ragflow-server 的容器docker exec -it ragflow-server /bin/bashcd /ragflowls# 退出容器exit

相关bug:
bug1:无法正常下载(If inside mainland China)
解决1:修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点

bug2: dependency failed to start: container ragflow-mysql is unhealthy
解决2:docker compose down -v #移除所有本地数据
docker compose up -d

四 安装本地大模型LLM

安装ollama(一步步点就行)
地址:https://www.ollama.com/

 

下载qwen2:7b模型(4.4GB)阿里的千问大模型对中文很友好,所以选择它
说明,ollama中有许多开源模型,都可自行本地下载

​​​​​​​

ollama list #列出模型ollama run qwen2:7b #下载运行模型ollama rm          #删除模型ollama show  #显示模型信息

 

下载Embedding模型
说明:一个免费的中文的向量化模型

​​​​​​​

ollama pull shaw/dmeta-embedding-zhollama list

 

最后用浏览器打开 http://localhost:11434
可以看到页面中显示:Ollama is running

五 下载医疗数据集

地址:
huggingface.co/datasets/InfiniFlow/medical_QA

 

medical_QA(医疗问诊助手数据集),它基于 PubMed 的数百万英文医疗论文,以及一些其他数据集,涵盖多个不同领域具有代表性的专业医疗数据,借助于 Agent 机制,提供中文问诊对话服务
ChatMed_Consult-v0.3.CSV     医疗咨询
Internal medicine_QA_all.csv   内科_QA_all.CSV
Medical Oncology_QA_all.csv  医学肿瘤学_QA_all.CSV
OB GYN_QA_all.csv     妇产科_QA_all.CSV
Pediatrics_QA_all.csv    儿科_QA_all.CSV
Andrology QA.CSV     男科QA.CSV S
urgical_QA_all.csv      外科_QA_all.CSV

六 RAGFlow 的使用

首先登录ragflow,进入后点击右上角图标

 

1 添加下载的本地千问模型和向量化模型

模型均在“第四步”做了安装
qwen2:7b:做问答chat的大模型
shaw/dmeta-embedding-zh:做embedding的,本地知识做向量化索引的

点击添加模型->按照如下添加向量化模型

因为ragflow使用的是docker,而ollama是在本地运行的,所以基础url为
base URL:http://host.docker.internal:11434

 

添加成功发后结果如下

 

2 创建知识库
2.1点击上方知识库-->创建知识库

 

2.2添加配置文件 语言选择中文,嵌入模型选择自己下载的,解析方法选择Q&A

 

2.3新增文件->上传第五步下载的医疗数据集QA

 

说明:如果不能一起上传,就单个上传

3 开始解析,等待成功 上传后点击右边放启动按钮,开始解析,等待解析成功,我这里文件80M左右,大约90分钟
原理:将每个QA对做成向量,用于提问后的匹配检索

 

4 检索测试 简单测试下知识库的相关搜索性

 

七 功能测试与使用

1 聊天(添加助理)

聊天-->添加助理-->配置相关参数(模型选择qwen2:7b) -->确定

 

模型选择qwen2:7b

 

测试聊天效果

 

2后端api服务
说明:通过部署的本地知识库大模型,不仅可以自己使用,还可以通过api给其他应用使用
右键打开聊天api

 

创建密钥

 

3 使用python程序调用

文档地址:https://ragflow.io/docs/dev/api

代码效果测试:

 

说明:测试代码太多了,就不贴了

 大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。


2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。



4.LLM面试题和面经合集


这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。



👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值