文献阅读：Large Language Models Encode Clinical Knowledge

原创 已于 2023-03-12 18:34:48 修改 · 1.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Med-PaLM #Flan #Google #LLM #Clinic PaLM

于 2023-03-12 18:27:48 首次发布
文章介绍了Google如何利用InstructGPT的PromptTuning方法在医疗领域改进大模型，创建了Med-PaLM，在MultiMedQA数据集上表现出色，达到接近人类专家的水平。尽管依赖于基础模型的强大，但结果显示大模型在医疗问答任务中具有巨大潜力。
最低0.47元/天 解锁文章
[论文解读]CPLLM：使用大型语言模型进行临床预测CPLLM: Clinical Prediction with Large Language Models 数据集eICU、MIMIC 3等EHR数
强化学习曾小健
03-17 2007
我们提出了使用大语言模型进行临床预测（CPLLM），这是一种对预先训练的大语言模型（大语言模型）进行微调以进行临床疾病预测的方法。我们利用量化并根据提示对大语言模型进行微调，其任务是利用患者的历史诊断记录来预测患者在下次就诊或随后的诊断中是否会被诊断出目标疾病。我们将我们的结果与各种基线进行了比较，包括Logistic 回归、RETAIN 和 Med-BERT，这是使用结构化 EHR 数据进行疾病预测的当前最先进的模型。
LLM 大模型实用指南 | The Practical Guides for Large Language Models
AI天才研究院
05-31 1万+
LLM 大模型实用指南 | The Practical Guides for Large Language Models。
Large Language Models Encode Clinical Knowledge
qq_41200212的博客
07-18 758
大型语言模型在自然语言理解和生成方面表现出色，但医学和临床应用的质量标准很高。目前还没有一个统一而全面的自动评估模型在医疗知识应用上的基准数据集，为此作者提出MultiMedQA，包含了多个现有的开源数据集以及作者新提出的数据集，并针对各个数据集设计了针对性的多样的prompt，使用了包含的prompt策略。为了全面地对模型生成答案的质量进行人类对齐，提出。文章主要对经过instruct tuning的PaLM模型Flan-PaLM与各个其他的大模型在所提出的MultiMedQA数据集上进行对比。
大语言模型学习第八讲之大语言模型评估（8.1&8.2）
m0_67450301的博客
10-18 1194
阅读《大规模语言模型——从理论到实战》的第八章的8.1及8.2，对其知识点进行提炼和简单概述，粗略阅读
[医疗大模型]Large language models encode clinical knowledge
li_li_rui的专栏
07-17 773
文章中“Model development and evaluation of performance”部分的核心要点是：Flan-PaLM 540B模型在多个医学相关的多选题任务上表现卓越，包括在MedQA、MedMCQA和PubMedQA数据集上超越了之前的最佳模型，以及在MMLU数据集的临床相关主题上取得了行业领先的成绩。此外，该模型在专业医学和临床知识子集上分别达到了83.8%和80.4%的准确率，展示了大型语言模型在医学领域的巨大潜力。同时，文章也指出了医学领域应用LLMs的复杂性。
Large Language Models Encode Clinical Knowledge——大型语言模型编码临床知识
Together_CZ的博客
01-22 1051
Large Language Models Encode Clinical Knowledge——大型语言模型编码临床知识
MING-MOE：通过低阶适配器专家的稀疏混合增强大型语言模型中的医学多任务学习
强化学习曾小健
07-06 1086
像 ChatGPT 这样的大型语言模型在自然语言理解和生成方面已经取得了巨大进步，在包括医学领域在内的各个学科中都证明了其价值。尽管取得了进步，但由于医疗任务固有的复杂性和多样性，通常需要多任务学习能力，因此挑战仍然存在。以前的方法虽然有益，但在现实应用中存在不足，因为它们需要在推理时进行特定于任务的注释，从而限制了更广泛的泛化。本文介绍了 MING-MOE，一种新型的基于专家混合 (MOE) 的医学大语言模型，旨在管理多样化且复杂的医疗任务，而不需要特定于任务的注释，从而增强其在广泛数据集上的可用性。
AI领域的DeepSeek：技术发展的新方向
AI天才研究院
04-09 1074
本文旨在全面解析DeepSeek技术的核心原理、实现方法和应用前景。我们将从技术基础出发，逐步深入到算法实现和实际应用案例，为读者提供一个全方位的技术视角。本文的范围涵盖DeepSeek的架构设计、核心算法、训练方法以及在搜索、问答、知识管理等领域的应用。本文采用由浅入深的结构，首先介绍DeepSeek的基本概念和技术背景，然后详细解析其核心算法和数学模型，接着通过实际代码示例展示其实现方式，最后探讨应用场景和未来发展方向。DeepSeek。
大语言模型对临床知识的编码：提出指令提示调优方法
yorkhunter的博客
06-21 905
22年12月来自谷歌的论文“Large Language Models Encode Clinical Knowledge“。
LLM in Medical Domain: 一文速览大语言模型在医学领域的应用
zenRRan的博客
06-15 2795
© 作者｜杨锦霞机构｜中国人民大学研究方向｜多模态学习来自：RUC AI Box进NLP群—>加入NLP交流群引言：近期，大型语言模型在各种任务上展现出优异的性能，展示了广阔的应用前景。然而，在医学领域，现有的模型主要是单一任务系统，缺乏足够的表达能力和交互能力。因此，目前的模型与实际临床工作流程中对它们的期望之间存在差距。虽然大型语言模型的出现和发展为交互式医学系统带来了希望，但由于其可能...
LiveQA_MedicalTask​​_TREC2017：为TREC 2017 LiveQA挑战准备的医学问题答案数据集（医学任务）
02-17
LiveQA_MedicalTask​​_TREC2017：为TREC 2017 LiveQA挑战准备的医学问题答案数据集（医学任务）
文本生成视频、AI临床知识理解、大模型有趣案例、智源社区《预训练周刊》第70期...
BAAIBeijing的博客
01-17 1438
No.70智源社区预训练组预训练研究观点资源活动周刊订阅《预训练周刊》已经开启“订阅功能”，扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”，即可收到推送消息。关于周刊本期周刊，我们选择了12篇来自国内外知名研究机构的预训练相关的论文：多模态话题包括one-shot视频生成、视频摘要；自然语言话题包括情绪分析，无注意力预训练，大模型剪枝、语境学习、反向链推理；生命科学话题包括临床知识理解和...
医疗大型语言模型的評估基準
Hofong1966的博客
05-01 1093
多年來,大型語言模型(LLMs)已成為一項突破性技術,在醫療保健的各個方面都有巨大的潛力。這些模型,如GPT-3、GPT-4和Med-PaLM 2,在理解和生成類人文本方面表現出卓越的能力,使其成為應對復雜醫療任務和改善患者護理的寶貴工具。它們在各種醫療應用中都顯示出前景,例如醫療問答(QA)、對話系統和文本生成。此外,隨著電子健康記錄(EHRs)、醫學文獻和患者生成數據的指數級增長,LLMs可以幫助醫療專業人員提取有價值的見解並做出明智的決策。 然而,儘管大型語言模型(LLMs)在醫療保健中有巨大的潛力,
大模型 | MMedAgent：学习使用多模态代理的医疗工具
star_nwe的博客
09-30 1543
这篇文章要解决的问题是如何在医疗领域中利用多模态大型语言模型（MLLMs）进行高效的任务处理。尽管MLLMs在多个任务上取得了显著进展，但它们在跨模态和多任务的通用性方面仍有限。：该问题的研究难点包括：MLLMs在处理不同医疗影像模态的多种任务时表现有限；现有的通用模型无法有效地扩展到新任务或更多模态；专业模型虽然在特定任务上表现出色，但不能与通用模型相媲美。：该问题的研究相关工作有：Singhal等人（2023）策划了MultiMedQA，一个针对医学问答的数据集；
2024.3 KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Tec
Kakaxiii的博客
11-14 1288
大型语言模型（LLM），如 GPT4（OpenAI，2023）和 LLaMa2（Touvron et al.，2023），已经表现出强大的生成能力（高等人，2023；杨等人，2024b）。尽管它们在包括医学在内的各个领域都有相当大的潜力（李等人，2022a；杨等人，2023c；柯等人，2024；杨等人，2024a），但它们对医学数据的有限训练引发了对生成的 con 一致性的担忧具有既定医学事实的帐篷（Yang 等人，2023b；Bi 等人，2024）。
大模型论文周报｜来自谷歌、DeepMind、斯坦福、新加坡国立大学、腾讯等机构前沿论文研究...
AITIME_HY的博客
01-10 1127
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！大模型又可以称为Foundation Model模型，模型通过亿级的语料或者图像进行知识抽取，学习进而生产了亿级参数的大模型。大模型的出现迎来了AI研究的新时代，其所带来的结果提升十分显著，超越了很多领域中针对研究问题设计特定算法实现的提升。本周精选了10篇大模型领域的优秀论文，分别来自谷歌、DeepMind、斯坦福、新加坡国立大学、腾讯等...
Guiding Clinical Reasoning with Large Language Models via Knowledge Seeds
c_cpp_csharp的专栏
11-20 122
临床推理是指医生在评估和管理患者时所采用的认知过程。这一过程通常包括建议必要的检查、诊断患者的疾病和选择适当的治疗方法等。准确的临床推理需要广泛的医学知识和丰富的临床经验，这为医生设定了很高的标准。这在发展中国家尤其具有挑战性，因为患者数量巨大，医生资源有限，严重加剧了全球卫生不平等，需要采用自动化的临床推理方法。最近，大型语言模型（LLM）的出现，如ChatGPT和GPT-4，已经证明了它们在临床推理中的潜力。然而，这些LLM容易出现幻觉问题，LLM的推理过程可能与医生的临床决策途径不一致。
Jeff Dean万字总结！图解谷歌2022年AIGC、LLM、CV三大领域成就
idol24的博客
01-31 926
本文来源 新智元 编辑：编辑部【新智元导读】2022年，谷歌在ML领域取得了哪些新进展？Jeff Dean发万字长文总结。2022年，谷歌在机器学习方面有什么进展？Google Research高级研究员兼高级副总裁Jeff Dean一文帮你总结！昨天，Jeff Dean代表Google Research社区发布一篇干货满满的长文，总结了谷歌在2022年激动人心的新进展。显然，大佬花了很久（也...
常用公共数据集
热门推荐
weixin_41036461的博客
06-12 6万+
原文链接：http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htmCVonline：图像数据库(Google直译的结果，希望对大家有帮助)按主题索引行动数据库属性识别自主驾驶生物/医药相机校准脸和眼/虹膜数据库指纹一般图像一般RGBD和深度数据集一般视频手，掌握，手动和手势数据库图像，视频和形状数据库检索对象数据库人（静），人体姿势人员检测...
MDPO：Conditional Preference Optimization for Multimodal Large Language Models
最新发布
08-21
### MDPO（Multimodal Diffusion Policy Optimization）及其在多模态大语言模型中的应用 MDPO（Multimodal Diffusion Policy Optimization）是一种面向多模态大语言模型的优化方法，旨在通过扩散模型（Diffusion Models）的思想，对多模态数据进行策略优化，以提高模型在复杂任务中的生成能力和决策能力。该方法通常结合了扩散模型在图像生成中的强大能力与多模态大语言模型在文本和视觉信息处理中的优势，从而实现跨模态的感知与生成。 在多模态大语言模型中，MDPO的应用主要体现在以下几个方面： 1. **多模态任务的策略优化** MDPO通过扩散模型的迭代优化机制，逐步生成高质量的多模态输出。例如，在图像-文本联合生成任务中，MDPO能够通过扩散过程逐步优化文本描述与图像内容的对齐，从而提升生成结果的准确性和一致性。 2. **交互式感知与生成** 在交互式多模态任务中，例如视觉对话或图像编辑，MDPO可以作为策略优化工具，通过逐步调整模型的输出策略，使其更符合用户的交互意图。这种方法能够显著提高模型在动态交互环境中的适应性[^1]。 3. **跨模态对齐与推理** MDPO还能够通过扩散模型的逆向过程，对多模态输入进行推理，从而在跨模态检索或问答任务中提供更精确的结果。例如，在视觉问答（VQA）任务中，MDPO可以通过优化策略，提高模型对图像和问题之间的语义关联理解能力。 4. **强化学习与扩散模型的结合** MDPO借鉴了强化学习中的策略优化思想，并将其与扩散模型的生成能力相结合。这种结合使得多模态大语言模型能够在生成过程中引入更复杂的决策机制，从而提升其在复杂任务中的表现。 ### 示例代码 以下是一个简化版的扩散模型策略优化框架的伪代码示例，用于多模态任务中的生成优化： ```python def mdpo_optimization(multimodal_input, diffusion_steps): # 初始化扩散模型参数 noise_schedule = create_noise_schedule(diffusion_steps) # 对多模态输入进行编码 encoded_input = encode_multimodal(multimodal_input) # 执行扩散过程 for step in range(diffusion_steps): # 添加噪声 noisy_input = add_noise(encoded_input, noise_schedule[step]) # 使用扩散模型预测噪声 predicted_noise = diffusion_model(noisy_input) # 优化策略并更新输入 encoded_input = update_strategy(encoded_input, predicted_noise) # 解码生成结果 generated_output = decode_multimodal(encoded_input) return generated_output ``` 上述代码展示了MDPO在多模态任务中的基本流程，包括噪声添加、扩散模型预测和策略优化等步骤。 ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值