记一个大模型医学rag知识库应用案例实践

RAG & LLm大模型构建本地知识库 RAG与LLM的优势 如何构建垂域(向量)知识库 文本分块的技巧 构建一套完整 RAG 系统的步骤 阅读详情

很多人想要结合RAG技术和大模型,打造自己的垂类AI助手,但是不知道怎么做?有一个基于MinerU工具的二开项目,是一个很典型的RAG技术在垂直场景应用的案例,大家可以参考它是怎么做的,动手也构建一个自己的AI助手

项目基于MinerU,二次构建了深度优化的文档解析引擎 Mineru-xyb,实现医疗文档的多模态解析与知识萃取,形成标准化知识库;然后依托多种大模型,结合混合RAG框架(集成检索增强、医疗专用插件及API网关)实现知识库的高效检索、智能推理,最终构建跨平台服务矩阵,支持等多样化终端接入,为胰腺癌疾病诊疗提供便捷的知识服务。

文档解析引擎 Mineru-xyb,打破RAG中医疗相关文档的"次元壁"

在知识库文件准备环节,作者总结了3个主要痛点:

⚠️ 传统解析方法让30%关键数据流失

⚠️ PDF文档的图片/公式成"信息黑洞"  

⚠️ 单文档转化效率太低

在对比多个工具后,他们选择 MinerU 文档提取工具用于知识库文件准备,并在文档解析引擎构建中,提出3个关键要点:

1. 提升文档处理效率:解决传统 RAG 工具在处理 PDF 等格式文档时的信息损耗问题,努力保持保留文档中的图片、公式等关键信息的完整性;

2. 降低部署成本:适配云端免费服务资源(腾讯Cloudstudio/魔搭社区等),一键部署,低成本转化;

3. 提供企业级存储方案:结合 Sealos 和 Minio,支持 S3 配置,确保图片链接的长期可用;

最后,他们打造了这样一个文档解析引擎:

1. 智能解析层

• 支持多种知识库文档格式,高质量转换为markdown格式

• 完整保留表格/分子式/关键示例图片/指南图片

2. 云端架构

• 基于Sealos+Minio的弹性架构

• 高质量连续批量处理混排文档

3. 评估体系

• 首推RAGAS医疗专项测评

• AI自评估准确率校准系统

目前他们已将自己优化后的文档解析引擎 Mineru-xyb做了开源,需要的朋友可以自取,GitHub地址:https://github.com/PancrePal-xiaoyibao/MinerU-xyb

更多MinerU二开成果,点击链接提交:https://aicarrier.feishu.cn/share/base/form/shrcneaKr8tecz3agwNa90Xqh0g

【智能体】| 知识库、RAG概念区分以及智能体是什么 我相信很多朋友使用智能体目的,除了AI对话以外,还想建立自己的知识库,让AI能结合自己提供的资料生成更有针对性的回答。这是一个很自然、也很美好的想法。但是,不少人上手操作以后却发现,效果根本不是自己想象的那样。这就是本文将要探讨的问题。很多人想象的“AI+知识库”,是自己把搜集整理的资料一股脑丢进知识库,等到自己提问的时候,AI会把里面的内容认真通读一遍,从中搜集相关内容,再综合分析思考、输出一个非常完美的答复。No,根本不是这样的! 阅读详情

相关推荐

RAG实践指南:利用Ollama搭建本地知识库

RAG,即检索增强生成(Retrieval-Augmented Generation),是一种先进的自然语言处理技术架构,它旨在克服传统大型语言模型(LLMs)在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力,为基于自然语言的任务提供了更为灵活和精准的解决方案。

Python栈 1086

医疗大数据知识库的主要功能和作用

    医疗知识库是人工智能(AI)和数据库(DB)两项计算机技术的有机结合,是基于知识的系统。医学知识库是在医学知识背景下,以疾病、症状、检查、药品、指南和病例报告为基础,通过整合设计,关联知识点,方便医生查找相关知识及病例报告,辅助医生临床诊断。 随着移动健康产业的发展,各大健康网站开发出各种医学知识库,如:WebMD、“好医生”智能医学数据库、家庭医生在线等,主要为广大医生和健康行业从业人士...

Peter_Changyb的博客 7143

Python大模型应用开发实践:本地化部署大模型实现RAG应用

摘要 本文探讨了在本地化环境中部署大模型(如GPT、BERT)并结合检索增强生成(RAG)技术的应用方法。首先介绍了大模型的特点和RAG的基本原理,分析了本地化部署面临的技术挑战,包括硬件资源需求、数据隐私问题及部署框架选择。随后详细阐述了RAG应用的实现步骤,包括知识库构建、模型部署、检索与生成模块集成以及性能优化策略,并通过Python代码示例展示本地化RAG模型的搭建过程。最后总结本地化大模型的应用前景,指出其在专业领域(如医疗、法律)中的潜在价值。 关键词:大模型、RAG、本地化部署、Python、

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 718

为什么你的医药知识库一直回答不好?看完这一篇你就知道了!!

医药知识库是基于医学专业性、数据工程技术和用户需求构建的系统性知识体系,旨在整合多源、多类型医药数据(如药品信息、疾病指南、临床研究、真实世界数据等),通过结构化存储与智能化关联,为临床决策、药物研发、患者教育和监管合规等场景提供权威、精准的知识支撑。其核心特点是覆盖“数据-信息-知识”的全链条转化,既包含药品成分、疾病症状等基础事实,也涵盖药物相互作用、治疗方案等深度关联信息,是医疗健康领域的核心基础设施。

嘴巴吃糖了 952

如何构建高效的知识库:支持 RAG 系统的最佳实践

确定知识库的内容范围领域专注:首先明确知识库的应用领域。一个高效的知识库通常是专注于某一特定领域,如医学、法律、金融等。这样的专注性可以确保知识库中的信息高度相关,避免冗余数据的存在。信息深度:根据用户需求决定知识库的信息深度。对于专业领域,知识库应包含从基础知识到最新研究的多层次内容,以应对不同复杂度的问题。设定知识库的目标覆盖率:确保知识库中涵盖了用户可能提问的所有关键主题。更新频率:设定知识库的更新策略,特别是在信息变化快速的领域,如科技或医学,及时更新是保证知识库有效性的关键。

chenwr_727的博客 2678

详解大模型RAG知识库的7种智能切片策略

本文介绍了医院AI助手背后的7种智能切片策略,这些策略帮助AI高效处理复杂的医疗资料。通过等长切片、自然分段、滑动窗口等方法,AI能将病历、药品说明等资料准确分割,避免关键信息割裂。文章还讲解了如何存储和检索这些切片,并以胸痛患者为例,展示了AI快速检索相关知识并给出建议的过程。这些智能切片技术让AI能像医生一样"读懂"医学资料,成为临床决策的有力助手,未来还将整合影像等多模态数据,进一步提升医疗AI的实用性。

qq_35354529的博客 1073

探索疾病知识图谱:Disease-KB 项目解析与应用

探索疾病知识图谱:Disease-KB 项目解析与应用 项目简介 是一个开放源代码的疾病知识库项目,它汇聚了丰富的医学信息,包括疾病、症状、基因、药物等多维度的数据,并以结构化的方式进行组织,为医疗健康领域的数据挖掘和智能应用提供了坚实的基础。 技术分析 Disease-KB 基于 Python 开发,利用了 Neo4j 图数据库存储大量关系型数据,以图形的形式展现了复杂的疾病网络。该项目采用了 ...

gitblog_00058的博客 634

RAG 在 AI 助手、法律分析、医学 NLP 领域的实战案例

RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合信息检索和生成模型的技术,广泛应用于 AI 助手、法律分析、医学 NLP 等领域

互联网架构师笔记 1702

RAG+医学资料:我用半小时构建了2025 ASCO知识库

为什么RAG是大模型走向专业的关键? 形象地说,RAG 就像是大模型的“外挂硬盘”,它允许模型在回答问题时实时“查阅”外部知识库,而无需全部“记住”。 对比其他获取本地知识的其他方式,如 • 上传附件至聊天窗口(受限于模型上下文长度,请设想你有100多篇文献需要处理) • 微调大模型(需要昂贵的硬件基础和技术门槛高) RAG的优势在于:

2401_84204413的博客 1338

深入探索RAG技术:智谱AI在大模型中的应用与实践案例研究

RAG技术包括三个核心部分:索引(Indexing)、检索(Retrieval)和生成(Generation)。每个部分都有其独特的挑战和解决方案。RAG技术作为大模型应用的重要组成部分,展现了巨大的潜力和广阔的应用前景。智谱AI通过不断探索和实践,积累了丰富的经验,并在多个行业和场景中取得了显著的成果。未来,随着技术的进一步发展和创新,RAG技术必将为更多领域带来变革和发展。我们期待着在不久的将来,RAG技术能够为我们的生活和工作带来更多的便利和惊喜。

m0_57781768的博客 1661

医疗大模型:数据+知识双轮驱动实现医学推理、医患问答、病历自动生成、临床决策,为未来医疗服务提供全新可能性

医疗大模型:数据+知识双轮驱动实现医学推理、医患问答、病历自动生成、临床决策,为未来医疗服务提供全新可能性

丨汀、的博客 3595

【综述】医学大模型幻觉问题及应对策略的研究与实践

大语言模型的发展速度令人瞩目。在过去几年里,大模型领域取得了难以置信的进展和突破。不断推出的新模型架构和训练方法使得大模型在自然语言处理和理解方面实现了质的飞跃[1-2]。大模型不仅改变了人们上网寻找信息的交互方式,而且在医学领域也展现出了巨大的应用潜力[3-4]。随着大模型的性能和普及程度的不断提高,人们对其在医学领域的表现寄予了更高的期望[5]。然而,尽管医学大模型前景广阔,但当下仍存在一些挑战。

2401_85390073的博客 1279

【3D目标检测】环境搭建(OpenPCDet、MMdetection3d、Det3d)

在Conda虚拟环境中搭建MMdetection3d环境

qq_44703886的博客 4253

RAG 实践-Ollama+AnythingLLM 搭建本地知识库

RAG,即检索增强生成(Retrieval-Augmented Generation),是一种先进的自然语言处理技术架构,它旨在克服传统大型语言模型(LLMs)在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力,为基于自然语言的任务提供了更为灵活和精准的解决方案。

youmaob的博客 1424

C++11并发与多线程笔记(2) 线程启动、结束,创建线程多法、join,detach

第二节 线程启动、结束,创建线程多法、join,detach 一、范例演示线程运行的开始 程序运行起来,生成一个进程,该进程所属的主线程开始自动运行;当主线程从main()函数返回,则整个进程执行完毕 主线程从main()开始执行,那么我们自己创建的线程,也需要从一个函数开始运行(初始函数),一旦这个函数运行完毕,线程也结束运行 整个进程是否执行完毕的标志是:主线程是否执行完,如果主线程执行完毕了,就代表整个进程执行完毕了,此时如果其他子线程还没有执行完,也会被强行终止【此条有例外,以后会解释】 创建

qq_38231713的博客 1万+

金蝶云星空API实战:从零到一,用Postman打通业务数据流

本文详细介绍了如何使用Postman调试金蝶云星空API,从创建第三方应用到实战调试技巧,帮助开发者快速打通业务数据流。文章重点讲解了API配置的关键细节、常见问题排查方法以及自动化测试方案,提升开发效率与准确性。

weixin_33712987的博客 519

大模型与知识库:RAG ≠ 训练

在人工智能应用日益普及的今天,准确理解技术概念变得越来越重要。RAG 作为大模型应用的重要范式,其工作原理与传统的模型训练有着本质区别。希望通过这篇文章的解释,能够帮助很多普通用户有一个正确理解:当我们使用 RAG 技术时,我们不是在"训练"模型,而是在利用大模型强大的上下文理解能力,通过提供相关信息来引导它生成更准确、更专业的回答。大模型很多技术干货,都可以共享给你们,如果你肯花时间沉下心去学习,它们一定能帮到你!

2401_85375186的博客 1672

400G光模块测试全攻略:从PCS层到CMIS合规的避坑指南

本文为网络设备测试工程师和光通信研发人员提供了一份详尽的400G光模块测试实战指南。文章深入剖析了从PCS层信号完整性、FEC容限到CMIS管理接口合规性测试的全流程,并分享了ANLT协议分析、SerDes眼图调试以及系统级流量压力测试中的核心技巧与常见避坑点,旨在帮助读者构建一套高效、精准的测试体系,确保高速光模块的可靠性与性能。

weixin_29300931的博客 211

RAG 知识库搭建:Ollama+AnythingLLM 搭建本地知识库

RAG 知识库搭建:Ollama+AnythingLLM 搭建本地知识库

2401_82469710的博客 1866

【RandLA-Net实战】从零构建隧道点云数据集并训练大场景语义分割模型

本文详细介绍了如何使用RandLA-Net构建隧道点云数据集并进行大场景语义分割模型训练。从数据采集、标注到模型训练与优化,提供了完整的实战指南,特别针对隧道场景的特殊挑战提出了解决方案。通过实际案例展示了RandLA-Net在处理大场景点云数据时的高效性和准确性,为隧道巡检等工程应用提供了可靠的技术支持。

weixin_30485379的博客 114

瑞萨芯片串口配置,基于RL78芯片的串口使用配置

在这里隆重给大家介绍瑞萨编辑器CS+ for CA 的自动生成代码功能,只需要配置几个参数,就可以得到你想要的串口配置了,我现在已经忘记怎么手动配置寄存器了,哈哈。选择设置,此时将端口设置成功接下来设置时钟,根据自己的芯片所需设置相应的时钟,自己芯片是什么时钟查看数据手册和原理图可以找到。瑞萨芯片的串口配置其实和ST芯片的串口配置差不多,只是ST芯片的中文数据手册比较多,就更好配置了,找到所需要的串口配置IO口,此时将UART0 配置为引脚P61和P62,瑞萨芯片的串口配置竟然要配置串口。

qq_45315904的博客 4302

RAG 技术详解:如何让大模型更 “懂” 知识库?

RAG 技术通过将大模型与外部知识库深度耦合,为解决知识滞后与幻觉问题提供了系统性方案。让大模型从‘记忆型’升级为‘检索型’智能体,通过动态知识注入实现领域专业性与实时性的双重突破。未来,随着校正型 RAG、自我反思型 RAG 等技术的成熟,以及多模态整合与伦理机制的完善,RAG 将成为企业智能化转型的核心基础设施,推动 AI 从通用对话向垂直领域深度赋能跨越。参考文献RAG 技术详解:如何让大模型更 “懂” 知识库?详解 RAG 技术:大模型时代让 AI 更懂你的智能知识引擎。

shuizhudan223的博客 2176

IMU卡尔曼滤波方法详细介绍

本文介绍了基于IMU和卡尔曼滤波的状态估计方法。系统采用9维状态向量(位置、速度、加速度计零偏),通过牛顿运动学建立状态方程,并利用外部位置观测进行校正。详细推导了状态转移矩阵和控制输入矩阵的形式,阐述了预测和更新的计算步骤。同时说明了过程噪声Q和观测噪声R的设置原则,其中Q反映模型不确定性,R取决于传感器精度。该方法可有效融合IMU测量与外部观测数据,实现位置、速度和偏置的联合估计。

haing2019的博客 757

TiDB.AI在医疗领域的应用:构建专业医学知识库

你是否还在为医院内部医学文献分散难以整合而烦恼?是否经历过临床决策时因信息检索缓慢而延误诊疗?本文将详细介绍如何利用TiDB.AI构建专业医学知识库,通过Graph RAG(检索增强生成)技术实现多源医学数据的高效管理与智能问答,帮助医疗机构提升知识利用效率。 ## 医疗知识管理的核心挑战 医疗领域的知识管理面临三大核心痛点:首先是医学文献数量呈指数级增长,2024年全球新增医学论文超200万...

gitblog_00833的博客 1173

《AgentScope-Java 深入浅出教程》第2章 环境搭建与第一个智能体

创建// 【导入说明】/*** 时间相关工具类* 工具类是普通的 Java 类,通过注解声明为工具。* 智能体可以根据用户需求自动调用这些工具。*/// 【工具定义】获取当前时间@Tool(name = "get_current_time", // 工具名称:LLM 看到的名称description = "获取指定时区的当前时间" // 工具描述:帮助 LLM 理解何时使用// 【参数定义】// @ToolParam 的 name 属性是必需的!

步子哥的博客 417

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 打造跨语言智能工具与应用,“万卷·丝路”专项课题开放申请
下一篇: 遥感论文 | AAAI2025 | Urbench:多模态大模型在城市环境领域全新BenchMark,已开源,欢迎follow!
OpenDataLab
博客等级 码龄4年 636粉丝 135原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值