摘要
在医学研究中理解因果关系对于开发有效的干预措施和诊断工具至关重要。孟德尔随机化（MR）是一种通过遗传数据推断因果关系的关键方法。然而，MR分析通常需要预先从临床经验或文献中识别暴露-结果对，这可能难以获得。这给调查特定疾病因果因素的临床医生带来了困难。为解决这一问题，我们推出了MRAgent，这是一种创新的自动化代理，利用大型语言模型（LLMs）来增强疾病研究中的因果知识发现。MRAgent自主扫描科学文献，发现潜在的暴露-结果对，并使用大量的全基因组关联研究数据进行MR因果推断。我们进行了自动化和人类评估，比较了不同LLMs在操作MRAgent时的表现，并提供了一个概念验证案例以展示完整的工作流程。MRAgent进行大规模因果分析的能力代表了重大进展，为研究人员和临床医生提供了一种强大的工具，用于探索和验证复杂疾病中的因果关系。我们的代码在https://github.com/xuwei1997/MRAgent上公开。
关键词：MRAgent；医疗智能体；信息提取；人工智能代理；因果知识发现；孟德尔随机化；大型语言模型（LLMs）
核心速览
研究背景
-
研究问题
：这篇文章要解决的问题是如何在医学研究中通过孟德尔随机化（Mendelian Randomization, MR）推断因果关系，特别是当暴露-结果对难以从临床经验或文献中预先识别时。
-
研究难点
：该问题的研究难点包括：临床医生难以快速确定特定疾病的因果因素；传统的大规模MR分析需要大量的手动工作，效率低下。
-
相关工作
：孟德尔随机化是一种利用遗传变异来评估可修饰暴露对健康结果影响的方法。然而，传统的MR分析依赖于预先识别的暴露-结果对，这在许多情况下是不可行的。尽管已有研究尝试大规模MR分析，但大多局限于特定的疾病和影响因素。
研究方法
这篇论文提出了MRAgent，一种基于大型语言模型（LLMs）的自动化代理，用于通过MR推断疾病中的因果关系。具体来说，
- 架构设计：MRAgent的“大脑”由LLMs驱动，负责信息提取和过程控制，数据表作为其内存。感知和行动工具包用于获取外部信息和执行MR计算。
-
知识提取：MRAgent通过输入特定疾病，自动扫描和分析PubMed相关文献，识别潜在的暴露或结果对，并记录已经进行因果分析的暴露-结果对。
-
因果推断：对于尚未进行因果分析的暴露-结果对，MRAgent使用多个GWAS数据集进行MR分析，最终生成每个暴露-结果对的综合分析报告。
-
工具集成：MRAgent集成了PubMed、OpenGWAS和TwoSampleMR等工具，用于文献检索、GWAS数据访问和MR分析。
实验设计
-
数据收集
：使用PubMed数据库检索与特定疾病相关的文献，提取暴露-结果对。
-
样本选择
：选择30种不同疾病，并从OpenGWAS数据库中手动选择相应的GWAS ID。
-
参数配置
：在初始化MRAgent时，指定要审查的文献数量和MR分析方法（标准MR和MR-MOE）。
-
评估方法
：通过自动评估和人类评估比较不同LLMs的性能，自动评估包括相似度评分和准确率计算，人类评估包括标签分类和Likert评分。
结果与分析
- 暴露-结果对的识别：GPT-4-Turbo和Qwen-max模型在自动识别暴露-结果对方面表现最佳，分别有43对被标记为“相关”。自动评估中，GPT-4-Turbo的SimCSE相似度得分为0.5285，表明其与人类提取的对语义对齐度最高。
-
先前MR分析的检查：Qwen-max模型的准确率为0.825，表明其在判断MR分析是否已进行方面表现最佳。
-
MR分析质量的评估：仅GPT-4-Turbo和mixtral:8x22b成功完成了评估，GPT-4-Turbo的准确率为0.750。
-
相关GWAS的选择：Qwen-max在保持高精度和高召回率方面表现最佳，F1评分为0.7675。
-
MR结果的解释：在标准MR模式下，Qwen-max的平均得分为4.50，SimCSE相似度得分为0.8501，表明其在自动评估指标和语义相似度方面优于人类专家报告。
- 提示策略的比较：“一次性和少量知识”策略表现最佳，排名第一，表明其在生成连贯和深入的分析报告方面具有优势。
总体结论
这篇论文提出的MRAgent通过利用LLMs自动化了从科学文献中提取暴露-结果对和进行MR分析的过程，显著提高了医学研究中因果推断的效率和准确性。MRAgent在多个评估中表现出色，特别是在自动识别暴露-结果对和解释MR结果方面。未来的工作可以集成更多的因果推断算法，以进一步增强MRAgent的能力。
论文评价
优点与创新
-
自动化流程
：MRAgent通过利用大型语言模型（LLMs）自动扫描和分析科学文献，发现潜在的暴露-结果对，并执行孟德尔随机化（MR）因果推断，显著提高了因果知识发现的效率。
-
全面的评估
：研究对不同的LLMs进行了全面的评估，包括主观评估和自动评估，证明了MRAgent的有效性。
-
多种提示策略
：探索了多种提示策略，确定了最有效的“一次性和少量知识”策略，显著提高了LLM在处理MR结果时的解释能力。
-
概念验证案例
：提供了一个完整的概念验证案例，展示了MRAgent在实际应用中的有效性，特别是在探索腰痛的因果因素方面。
-
开源代码
：研究提供了开源代码，方便其他研究人员使用和扩展MRAgent的功能。
-
多种MR方法支持
：MRAgent支持多种MR方法，包括MR Egger、Weighted Median、Inverse Variance Weighted（IVW）、Simple mode和Weighted mode，确保了结果的多样性和可靠性。
不足与反思
-
上下文长度限制
：Qwen-Max模型的上下文长度较短，限制了其对MR质量进行全面评估的能力。
-
未来工作
：未来的工作可以集成更多的因果推断算法，以进一步增强MRAgent的能力，使其能够更高效和全面地发现因果知识。
关键问题及回答
问题1：MRAgent在识别暴露-结果对方面表现如何？
根据论文的结果，GPT-4-Turbo和Qwen-max模型在自动识别暴露-结果对方面表现最佳。具体来说，GPT-4-Turbo模型有43对被标记为“相关”，而Qwen-max模型也有相同数量的标记。自动评估中，GPT-4-Turbo的SimCSE相似度得分为0.5285，表明其与人类提取的对语义对齐度最高。总体来看，这两个模型在识别暴露-结果对方面表现出色，能够有效地从大量文献中提取有价值的信息。
问题2：MRAgent在评估先前MR分析质量方面的表现如何？
在评估先前MR分析质量方面，Qwen-max模型的准确率为0.825，表明其在判断MR分析是否已进行方面表现最佳。具体来说，Qwen-max模型能够准确识别出82.5%的已进行MR分析的暴露-结果对。这一结果显著高于其他模型，如GPT-3.5-Turbo、Claude-3-opus和mixtral:8x22b，它们的准确率分别为77.5%、77.5%和80.0%。这表明Qwen-max模型在评估MR分析质量方面具有较高的可靠性和准确性。
问题3：MRAgent在解释MR结果方面表现如何？
在解释MR结果方面，Qwen-max模型在标准MR模式下的平均得分为4.50，SimCSE相似度得分为0.8501，表明其在自动评估指标和语义相似度方面优于人类专家报告。具体来说，Qwen-max模型生成的报告在数据的准确性、分析的生物学意义、报告的详细程度和最终结果的准确性等方面都得到了较高的评价。此外，在MR-MOE模式下，虽然Claude-3-opus在人类评估中得分较高，但在自动评估中，Qwen-max的SimCSE相似度得分仍然较高，表明其在生成高质量报告方面具有显著优势。
如何学习AI大模型 ？
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
优快云粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）
👉4.大模型实战项目&项目源码👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）
为什么分享这些资料?
只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
优快云粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
