[AI医学] ChatDoctor:借助医学知识库生成微调样本构建医疗领域大模型

原创 已于 2023-05-15 20:05:52 修改 · 1.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

于 2023-05-12 16:01:57 首次发布
ChatDoctor是基于LLaMA模型微调的医疗聊天机器人，利用100k+在线医患对话数据和疾病知识库进行训练，提升了模型理解和建议能力。模型能实时检索权威信息，提高回答准确性，适用于要求高准确性的医疗场景。

关键词：AI医疗，医疗大模型，chatdoctor，大模型finetuning，基于疾病知识库的数据生成

ChatDoctor

在LLaMA模型的基础上进行fine tuning训练，样本数据采用100k在线真实医患对话，同时加入自主知识检索能力，比如从wikipedia或者疾病数据库，通过微调训练，模型在理解患者需求和提供建议上显著提升，自主知识检索能力能够实时访问权威信息，提示模型回答的准确性。这对错误低容忍度的医疗领域来说是很重要的。
在这里插入图片描述
论文题目：ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
论文地址：https://arxiv.org/pdf/2303.14070.pdf
项目地址：https://github.com/Kent0n-Li/ChatDoctor

样本数据

  • HealthCareMagic-100k：网站HealthCareMagic.com上的患者真实对话100k
  • icliniq-10k：网站icliniq.com上的患者真实对话10k
  • GenMedGPT-5k：使用chatGPT生成的医患对话5k</
最低0.47元/天 解锁文章
晨阳2023
关注
【大模型微调实战】5. 数据增强实战：用ChatGPT生成高质量微调样本，成本直降90%
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
07-28 735
摘要：大模型微调中，高质量标注数据稀缺是中小企业的核心痛点——人工标注1万条数据需5人耗时2周，成本高达2万元。本文提出基于ChatGPT的四阶数据增强方案，通过“种子数据构建→批量生成→质量过滤→混合增强”的闭环流程，1小时即可生成10万条高质量样本，成本从2万元降至3.5元。方案创新点包括动态模板引擎、领域专属质量过滤规则库和混合增强策略，实测显示混合10%真实数据的合成数据集微调效果（87.1%准确率）优于纯人工标注数据（86.2%）。
ChatDoctor（LLM大模型用于医疗对话）
nakaizura
04-06 7147
通用领域中最近的大型语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类的响应方面取得了显着的成功。在医疗领域，通过利用医患对话数据对大模型进行微调，可以显著促进该模型在医学领域的应用。特别是在医疗资源匮乏的地区，可以使用聊天医生来支持患者的初步诊断和分诊，可以显著提高现有医疗系统的效率。因此这篇文章收集了一些关于医学领域的数据集，然后基于Meta的LLaMA进行微调（毕竟chatGPT非开源）。不仅是医学领域，这篇文章的做法可以扩展到很多其他的专有领域中。
基于医疗领域数据微调LLaMA——ChatDoctor模型
dzysunshine的博客
08-18 3642
ChatDoctor是一款使用LLaMA模型并结合医学知识进行训练的医疗助手，研究人员先收集了50多万条真实医患对话，然后使用这些数据对LLaMA模型进行微调。ChatDoctor不仅具备流畅的对话能力,在医疗领域的理解和诊断也达到了很高的水平。用户只需描述症状，ChatDoctor就会像真人医生一样询问其他症状与体征，然后给出初步诊断和治疗建议，而且完全开源免费！当然，ChatDoctor只是一个AI助手，不能完全替代人医生，但在常见病症诊断方面，它已经表现已经非常不错了。
新一代医疗AI助手ChatDoctor项目解析
最新发布
qq_29655401的博客
10-22 740
ChatDoctor是基于LLaMA模型开发的医疗对话AI项目，由德克萨斯大学研究人员开发。该项目通过52万条医疗对话数据进行微调训练，在药物推荐准确率上达91.25%，表现优于通用模型。系统提供在线演示和本地部署方案，支持6张A100GPU在30分钟内完成微调。目前项目在GitHub获3500+星标，但受LLaMA许可限制仅限学术研究，禁止临床应用。未来计划增强安全性、扩展多语言支持，为医疗AI研究提供开源基础。项目代码和资源已公开在GitHub平台。
ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
qq_41200212的博客
06-24 852
在语言大模型百花齐放的当下，虽然各个模型都有着令人惊讶的表现，但仍然存在一些问题，比如模型容易产生错误的言论以及对事实的歪曲，这被称作"hallucination"，即“幻觉”。如何降低幻觉是通用语言模型领域在未来的一个重要的研究方向。在这篇文章中，作者用领域知识对语言大模型进行prompt微调，使得模型产生的回答具有权威依据。
大模型讲师叶梓分享前沿论文：ChatDoctor——基于大模型的医疗聊天机器人
人工智能讲师分享前沿技术
12-25 1825
人工智能咨询培训老师叶梓 转载标明出处大模型在医疗领域的应用仍相对有限，通用领域模型在提供医疗建议时常常出现错误。为了解决这一问题，Li等人提出了一个名为ChatDoctor的医疗聊天模型，该模型基于Meta-AI（LLaMA）大模型进行微调，并结合了医疗领域知识，以提高医疗咨询的准确性。1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。
ChatDoctor: 在大型语言模型Meta-AI (LLaMA)上使用医学领域知识进行微调的医疗聊天模型
m0_59235245的博客
06-30 751
这项研究的主要目的是通过创建一个在医疗建议方面具有更高准确性的专业语言模型，来解决在诸如ChatGPT等流行的大型语言模型（LLMs）中观察到的医学知识局限性。Methods。
【大模型八股文面试】：大模型外挂知识库优化——负样本样本挖掘篇.pdf
07-04
优化大模型外挂知识库时，构建高质量的负样本是实现高效检索任务的核心。通过理解并应用上述各种策略和方法，可以显著提高检索模型的性能和准确性。在实际应用中，根据具体任务的需要选择合适的负样本构建方法，同时...
知识图谱+大模型：AI原生知识库构建的黄金组合
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-24 1252
在医疗诊断、金融风控、智能客服等场景中，AI系统需要“既懂知识，又会思考”。传统知识库（如关系型数据库、静态本体库）像“图书馆的书架”——书是摆好了，但“如何快速找到相关书”“如何结合多本书解决新问题”的能力很弱；而大模型（如GPT-4、LLaMA）虽能生成流畅文本，却常因“知识幻觉”（编造错误事实）被诟病。本文将聚焦“知识图谱+大模型”的融合方案，覆盖技术原理、实战方法和应用场景，帮读者理解如何构建真正智能的AI原生知识库。
ChatDoctor：一个基于微调LLaMA模型用于医学领域的医学聊天机器人
程序员老狼专注开发aigc或客服系统应用
05-30 415
ChatDoctor：一个基于微调LLaMA模型用于医学领域的医学聊天机器人 https://www.yunxiangli.top/ChatDoctor/ 资源列表 Demo.自动聊天医生与疾病数据库演示。 HealthCareMagic-100k.100k患者和医生之间的真实的对话HealthCareMagic.com。 icliniq-10k.患者和医生之间的真实的对话来自icliniq.c...
题目：探索医疗领域的新边界：ChatDoctor——智能医疗问答助手
gitblog_00129的博客
08-09 485
题目：探索医疗领域的新边界：ChatDoctor——智能医疗问答助手 ChatDoctor项目地址:https://gitcode.com/gh_mirrors/ch/ChatDoctor 1. 项目介绍 ChatDoctor，这个创新的AI模型，是基于Meta公司的大规模语言模型LLaMA精心训练而成。它的设计目标是为用户提供一个能够准确解答医学疑问、提供个性化医疗建议的智能伙伴。由UT So...
医疗/健康-垂直领域与语言模型 ChatDoctor（上）
zenRRan的博客
07-16 848
来自：看个通俗理解吧进NLP群—>加入NLP交流群千“垂”百炼：垂直领域与语言模型Using Language Models in Specific Domains(2)[Medical/Health] ChatDoctor (Part 1)这一系列文章仍然坚持走“通俗理解”的风格，用尽量简短、简单、通俗的话来描述清楚每一件事情。本系列主要关注语言模型在垂直领域尝试的相关工作。This se...
ChatDoctor 模型部署与使用指南
gitblog_01174的博客
08-09 474
ChatDoctor 模型部署与使用指南 ChatDoctor项目地址:https://gitcode.com/gh_mirrors/ch/ChatDoctor 1. 项目目录结构及介绍 以下是 ChatDoctor 开源项目的基本目录结构及其作用： ChatDoctor/ ├── Autonomous_ChatDoctor_csv/ │ ├── chat_csv.py # 基于CS...
AIGC技术周报｜ChatDoctor：哪里不舒服；HuggingGPT：连接大模型和机器学习社区；ChatGPT真的鲁棒吗？
AMiner2006的博客
04-06 6999
「AIGC技术周报」将为你带来最新的paper、博客等前瞻性研究。
ChatDoctor 开源项目教程
gitblog_00651的博客
08-09 482
ChatDoctor 开源项目教程 项目介绍 ChatDoctor 是一个基于大型语言模型 Meta-AI (LLaMA) 的医疗聊天模型，通过医疗领域的知识进行微调。该项目旨在为患者提供一个智能且可靠的医疗伴侣，能够回答他们的医疗查询并提供个性化的医疗建议。ChatDoctor 通过在 HealthCareMagic-100K 和 iCliniq-10k 等真实对话数据集上进行训练，展示了在理解...
活动报名丨ChatDoctor：基于LLaMA在医学领域知识上微调的医学对话模型
BAAIBeijing的博客
04-03 842
2023年04月06日（星期四）11:00-12:00，由智源社区主办的「智源LIVE 第36期线上活动：ChatDoctor：基于LLaMA在医学领域知识上微调的医学对话模型。本期活动将在线举办，「阅读原文」报名即可参加。李云响李云响，德克萨斯大学西南医学中心放射肿瘤科，医学物理学博士生。在生物医学相关顶级期刊会议一作发表多篇论文。在医学图像分析、文本图像多模态均有所研究。个人主页https:/...
提升大模型准确性的三种方法对比：提示词工程、知识库、微调
q704013673的博客
02-10 2633
方法优点缺点适用场景提示词工程快速、低成本、灵活，能够快速调整模型输出仅限于任务表层优化，无法深层次改变模型行为文本生成、对话系统、信息检索等任务知识库扩展知识面，弥补模型知识缺口，可动态更新需要构建和维护，知识库不完整时可能导致错误输出问答系统、专业领域应用（如医疗、法律等）微调深度定制，能够针对特定任务或领域提高模型性能需要大量标注数据和计算资源，可能会引发灾难性遗忘问题分类、命名实体识别、专业领域问题处理等提示词工程。
项目在GitHub上已获得约3600+star,探秘 ChatDoctor：LLaMA 微调后的 AI 医生，真能在线问诊？
06-25 892
《ChatDoctor：医疗问答助手的技术突破与应用价值》摘要 ChatDoctor是一款基于LLaMA微调的医疗领域自然语言问答助手，针对医疗资源紧张、在线问诊缺乏权威性等痛点开发。其核心优势包括：采用10万+真实医患对话数据训练，支持实时检索维基百科等权威资料提升准确性，药物推荐准确率达91.25%（优于ChatGPT的87.5%），并提供LoRA微调方案降低部署门槛。系统通过双阶段微调策略，兼顾流畅对话与专业诊疗建议生成，已应用于在线导诊、医学生培训等场景。作为全开源项目，ChatDoctor在数据质
edg4llm：高效的大语言模型微调数据生成工具
在当前人工智能技术快速发展的背景下，大语言模型如ChatGLM、GPT系列、DeepSeek等已在自然语言理解与生成领域展现出卓越能力，但这些通用预训练模型往往需要针对特定应用场景进行微调，以提升其在垂直领域的表现力和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值