- 博客(76)
- 收藏
- 关注
RSS订阅原创 【2022nature子刊：生物学】用于解释临床蛋白质组学数据的知识图谱
CKG 包括几个独立的功能模块，用于 （1） 格式化和分析蛋白质组学数据 （analytics_core;（2） 构建一个图数据库通过整合来自一系列可公开访问的数据库、用户进行的实验、现有本体和科学出版物的可用数据 （graphdb_builder）;（3） 连接并查询此图数据库 （graphdb_connector）;（4） 通过在线报告 （report_manager） 和 Jupyter 笔记本促进数据可视化、存储库和分析（图 1a、b）。此架构可无缝协调和集成数据以及用户提供的分析。
2025-04-02 16:00:03
958
原创 【Nature正刊2023】使用大型语言模型进行自主化学研究
在这项工作中，我们提出了一个基于多 LLM 的智能代理（以下简称 Coscientist），能够自主设计、规划和执行复杂的科学实验。合作科学家可以使用工具浏览 Internet 和相关文档，使用机器人实验应用程序编程接口 （API） 并利用其他 LLM 执行各种任务。这项工作是独立完成的，并且与自主代理的其他工作并行进行 23-25，ChemCrow26 是化学领域的另一个例子。在本文中，我们展示了 Coscientist 在六项任务中的多功能性和性能：（1） 使用公开可用的数据规划已知化合物的化学合成。
2025-04-02 11:41:38
999
原创 大语言模型在患者交互任务中的临床使用评估框架
An evaluation framework for clinical use of large language models in patient interaction tasksAn evaluation framework for clinical use of large language models in patient interaction tasks | Nature Medicine2025.1收到时间：2023 年 8 月 8 日Shreya Johri 1,10，Jaehwan
2025-03-09 21:38:22
953
原创 2025.2.9 每日学习记录1：微调与技术报告书写
1.完成微调的技术实践，技术学习1 微调系列01-一文吃透！大模型里的微调技术到底是什么？-优快云博客 2.为了研究技术报告怎么写，阅读了deepseek R1的技术报告原文DeepSeek-R1系列01——技术报告解读：DeepSeek-R1：通过强化学习激励 LLM 中的推理能力-优快云博客 3.完成技术报告的文字叙述版，确定了摘要和目录 4.完成每日学习记录
2025-02-09 23:08:46
470
原创 DeepSeek-R1系列01——技术报告解读：DeepSeek-R1：通过强化学习激励 LLM 中的推理能力
本文深入解读 DeepSeek - R1 通过强化学习激励大语言模型（LLM）推理能力的技术报告。开篇介绍 DeepSeek - R1 系列在人工智能领域的重要地位，引出对其利用强化学习提升 LLM 推理能力这一核心技术的探讨。详细阐述强化学习在该模型中的应用机制，包括如何设计奖励函数来引导模型在复杂推理任务中找到更优解，以及如何通过与环境交互不断优化推理策略 。分析这一技术相较于传统提升 LLM 推理能力方法的优势，如在面对复杂逻辑问题时能更高效地给出准确答案，大幅提升模型的实用性和智能水平。同时，结合具
2025-02-09 21:41:57
2087
原创 微调系列01-一文吃透！大模型里的微调技术到底是什么？
在深度学习和机器学习领域，“微调” 是一个频繁出现却又让不少人一知半解的概念。本文将深入浅出地为你剖析什么是微调。首先，介绍微调的基本定义，它是在预训练模型基础上进行的进一步训练，利用少量特定任务数据对模型参数进行针对性调整 。接着，详细阐述微调的流程，从选择合适的预训练模型，到准备适配的数据集，再到确定微调的超参数，每个步骤都关乎微调的效果。然后，探索展示微调如何让模型在特定任务中表现大幅提升。
2025-02-09 15:26:53
716
原创 AutoDL微调打怪升级
回到lamafactory的界面，，方法同上述部署模型方法一致，把加载模型路径改为微调模型的输出路径就行了（就是上图的路径）/root/autodl-tmp/myModel，模型名字没变，因为它就是Qwen-7B-Chat的升级版，底层架构啥的都一样。选择模型名称Qwen-7B-Chat，输入地址（之前下载的地方）/root/autodl-tmp/qwen/Qwen-7B-Chat，地址从MobaXterm复制，复制了记得删最后的/gpu是负责运算的，显存是你计算的内存大小，都还够着呢，别担心。
2025-02-09 12:17:33
871
原创 2024.9 用于疾病诊断的大型语言模型：范围综述
Large Language Models for Disease Diagnosis: A Scoping Reviewhttps://arxiv.org/abs/2409.00097原文抽象。自动疾病诊断在临床实践中变得越来越有价值。大型语言模型 （LLM） 的出现催化了人工智能的范式转变，越来越多的证据支持 LLM 在诊断任务中的有效性。尽管该领域受到越来越多的关注，但仍然缺乏整体观点。许多关键方面仍不清楚，例如应用 LLM 的疾病和临床数据、采用的 LLM 技术以及使用的评估方法。在本文中，我们对基
2024-12-21 22:06:46
865
原创 2024.8 设计可解释的 ML 系统以增强对医疗保健的信任：对提出的负责任的临床医生-AI 协作框架的系统评价
https://www.sciencedirect.com/science/article/pii/S1566253524001908?via%3Dihub论文的详细信息如下：问题：哪些医疗应用使用了解释性人工智能工具？ 医疗应用中的可解释性当前采用了哪些方法？ 如何为特定终端用户实施和评估强大的可解释人工智能？ 在医疗领域使用可解释人工智能的潜在未来趋势和关键挑战是什么？挑战：人工智能算法复杂，难以提供易于理解的决策解释，导致终端用户不信任，尤其是在医疗保健领域。 深度学习模型如
2024-12-21 17:32:46
1236
原创 2024.12 迈向可解释和可解释的多模态大型语言模型：一项综合调查
人工智能 （AI） 的快速发展彻底改变了许多领域，大型语言模型 （LLM） 和计算机视觉 （CV） 系统分别推动了自然语言理解和视觉处理的进步。这些技术的融合催化了多模态 AI 的兴起，实现了更丰富的跨模态理解，涵盖文本、视觉、音频和视频模态。尤其是。
2024-12-21 16:26:53
1360
原创 2024.7 XAI 遇见 LLM：可解释 AI 与大型语言模型之间关系的调查
在这项调查中，我们解决了大型语言模型 （LLM） 研究中的主要挑战，重点。
2024-12-21 14:46:00
1011
原创 2024.2 ACM Explainability for Large Language Models: A Survey
用于评估解释合理性的数据集：通常包含带有人类注释理由的文本数据，这些数据在语法、语义、知识、推理和计算等维度上满足一定标准，如句子中包含需要解释的部分（如掩码）和对应的人类注释理由，用于衡量解释模型生成的解释与人类理解的匹配程度。用于训练和评估模型的数据集传统微调范式：如 GLUE 基准中的 SST - 2、MNLI、QQP 等数据集，用于在特定下游任务上对模型进行微调训练和性能评估，这些数据集包含有标签的数据，涵盖了不同类型的自然语言处理任务，如情感分析、自然语言推理等。提示范式。
2024-12-20 20:07:42
933
原创 2024.4 评估大语言模型在医疗行业应用的综合调查
自 2017 年 Transform 架构启动以来，GPT 和 BERT 等大型语言模型（LLM）已经发生了重大发展，以其在语言理解和生成方面的先进能力影响着各个行业。这些模型已经显示出改变医疗领域的潜力，突出了专业评估框架的必要性，以确保其有效和合乎道德的部署。这项全面的调查描绘了 LLM 在医疗保健领域的广泛应用和必要评估，强调了经验验证的迫切需要，以充分利用其在增强医疗保健结果方面的能力。我们的调查旨在对 LLM 在临床环境、医学文本数据处理、研究、教育和公共卫生意识方面的应用进行深入分析。
2024-12-19 21:26:37
1533
原创 2024.2 BioLORD-2023: semantic textual representations fusing large language models
在 STS（Pearson 相关性）、BCR（Spearman 相关性）和 NEL（Top1 准确度）方面的性能特征。评估的模型如下：BioSyn（2020 年最先进的模型）、SapBERT（2021 年最先进的模型）、BioLORD-2022（我们的基线模型）和 BioLORD-2023（我们的新模型）。在 STS（皮尔逊相关性）、BCR（斯皮尔曼相关性）、NEL（Top1 准确度）和多语言 NEL（Top1 准确度）方面的性能特征。学概念的准确表示和文本的相似性判断。多语言环境下的泛化能力不足。
2024-12-08 23:13:24
773
原创 2007Mayo数据集：生物医学领域的语义相似性和相关性测量
生物医学领域六种原本基于 WordNet 的领域无关度量方法本体进行调整医学语料库最短路径上的节点数量路径长度的倒数最短路径层次结构的最大深度路径长度进行缩放信息内容（Information Content，IC）出现频率计算最低共同父类（Lowest Common Subsumer，LCS）的信息内容抽象的概念之间的语义相似度度量在自然语言处理中被广泛使用。在本文中，我们将展示如何将六种现有的领域独立度量应用于生物医学领域。这些度量最初基于 WordNet，这是一个概念和关系的英语词汇数据库。
2024-12-08 21:17:18
1108
原创 临床术语间语义相似度与关联度的实验研究Semantic Similarity and Relatedness between Clinical Terms: An Experimental Study
统一医学语言系统 (UMLS) 中包含的临床和生物医学术语被组织成受控词汇表，而大型临床和生物医学文本库的使用为开发自动化方法来测量概念之间的语义相似性和相关性提供了丰富的资源。在电子健康记录 (EHR) 系统中查询患有特定综合症的患者通常需要使用各种医学术语，这些术语不仅表示诊断，还表示症状、治疗、病症和其他与该综合症密切相关的概念。相似性和相关性的自动测量可用于编译术语组以增强对 EHR 的查询。心理语言学的既定研究重点是词汇语义和语义关联性。1、2已确定。
2024-12-06 19:31:09
1090
原创 2015基于医学本体的术语相似度算法研究
范雪雪 1 王志荣 1 徐 晤 1 梁 银 2 马小虎 31(徐州医学院临床学院 徐州 221004)摘要: 【目的】借助大型的医学本体, 提升医学术语。【方法】依据 SNOMED CT 和 MeSH 两个医学本体的, 提取概念术语的等语义参数, 并用概念密度对其加权得到深度系数和距离系数, 构造相似度函数进行术语相似度计算。【结果】该算法能在两个医学本体中进行术语相似度计算, 较传统算法更加接近人工评分标准。【局限】该方法较为依赖本体结构。
2024-11-27 19:15:51
710
原创 2023.11 Graph-Enriched Biomedical Language Models: A Research Proposal
这篇论文研究了生物医学领域中语言模型与知识图谱的融合问题，分析现有模型局限，提出四个研究问题，通过开发新的表示对齐方法、探索知识融合策略等，利用 PubMed 摘要等数据进行实验和评估，旨在提升生物医学语言模型性能，深化对文本 - 知识库交互理解，解决知识库利用和低资源语言等问题。
2024-11-26 15:03:57
1259
原创 2024.9 Pruning Cycles in UMLS Metathesaurus: A NeuroSymbolic AI Approach
UMLS Metathesdragon 中的修剪周期：一种神经符号 AI 方法UMLS Metathesdragon 中的修剪周期：一种神经符号 AI 方法Richard Wallace1、Ravi Bajracharya1、Jans Aasman1 和 Craig Norvell1Franz Inc这个工作其实比较简单，我没看出来“基于逻辑的语义推理”，只看见搜索时，用大模型判断是不是一致的语义，因为循环会带来语义错误，大模型说不对就删掉，这其实不是很可靠。
2024-11-26 13:57:22
1203
翻译 2023.11 IEEE 对医学视觉问答中的基准、技术和模型的批判性分析A Critical Analysis of Benchmarks, Techniques, and Models in Med
抽象的：本文全面回顾了医学 VQA 模型、结构和数据集，重点介绍了视觉与语言的结合。对 75 多个模型及其统计和 SWOT（优势、劣势、机会、威胁）分析进行了比较和分析。研究重点是普通领域的研究人员是否会影响医学领域的研究人员。根据对文本编码技术的分析，LSTM 是使用最多的方法（42%），其次是非文本方法（14%）和 BiLSTM（12%），而 VGGNet（40%）和 ResNet（22%）是最常用的视觉方法，其次是 Ensemble 方法（16%）。
2024-11-24 23:07:23
176
原创 2024.3 Vision-Language Models for Medical Report Generation and Visual Question Answering: A Review
https://arxiv.org/abs/2403.02469用于医学报告生成和视觉问答的视觉语言模型：综述用于医学报告生成和视觉问答的视觉语言模型：综述Iryna Hartsock1 和 Ghulam Rasool11 H. Lee Moffitt 癌症中心和研究所机器学习系抽象医学视觉语言模型（VLMs）结合了计算机视觉（CV）和自然语言处理（NLP）来分析视觉和文本医学数据。我们的论文回顾了开发专门用于医疗保健的 VLMs 的最新进展，重点关注为医学报告生成和视觉问答（VQA）设计的模型。我们提供了
2024-11-24 22:06:38
1084
原创 NeurIPs 2024.10 利用多模式判定原理增强医疗 VQAEnhancing Medical VQA with Multimodal Determination Rationales
在实际医疗环境中，当面临开放式查询时，我们提出的 MedVQA 模型仍然可以根据所学的医学知识生成明智的响应。2.2 思想链最近，语言模型 Raffel et al. [2020]、Chowdhery et al. [2023] 对 NLP 进行了显著转变。为了进一步增强语言模型的推理能力，之前的工作 Cobbe et al. [2021]， Wei et al. [2022] 在训练或推理阶段加入了推理原理，指导模型生成最终预测。
2024-11-24 21:18:19
921
原创 【AAAI-24】BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich VisualQuestions
（Xu， Shen， and Huang 2023） 构建了一个多模态指令调优基准数据集，该数据集由 62 个不同的多模态任务组成，采用统一的 seq-to-seq 格式，并进行了微调的 OFA（Wang MIMIC-IT（Li et al.2023a）构建了一个包含 280 万多模态指令响应对的更大数据集，以训练更强的模型 Otter（Li et al.2023a）。然而，这些模型无法准确。・我们介绍了 BLIVA，它利用了学习到的查询入向量和编码的补丁嵌入向量，为解释图像中的文本提供了一种有效的方法。
2024-11-24 16:56:17
883
原创 2024.6使用 UMLS 集成的基于 CNN 的文本索引增强医学图像检索
提出一种基于UMLS集成的CNN文本索引增强医学图像检索的方法，通过构建深度匹配模型（DMM）和利用医学相关特征（MDF）及UMLS元词库，将查询和图像元数据映射为特征矩阵，经个性化CNN处理后计算匹配分数，结合基线分数进行语义重排序（SemRank），实验表明该方法在医学图像CLEF数据集上相比基线和现有方法显著提升了检索性能。近年来，卷积神经网络 (CNN) 模型在图像分类和自然语言处理 (NLP) 等各个领域都取得了显著的进步。尽管它们在图像分类任务中取得了成功，但它们对医学图像检索，尤其是基于文
2024-11-18 23:14:56
1382
原创 2020.7 官方综述-UMLS users and uses: a current overview
在 2018 年的调查中，49% 的 UMLS 用户表示使用 UMLS 来“促进术语之间的映射”，这一比例高于 2004 年调查中的 35%。（NLM 使用年度基于 Web 的调查的第一年）相比，UMLS 的使用重点已从术语研究（2004 年 53% 的用户 vs 2018 年 18% 的用户）转向解决与文本解释、现在强制使用的临床术语和代码系统的使用、EHR 和管理数据的大规模分析以及为研究人员、医疗保健提供者和消费者开发应用程序相关的具体研究和实施问题。EndNote X9！SB 负责文献综述方法。
2024-11-18 10:56:50
949
原创 2023.6UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical
在生成训练序列时，以 CUIs 为基础来组织数据，使得模型能够在更抽象的层面上理解概念之间的关系，而不受具体术语表述差异的影响。例如，模型可以通过语义组信息了解到疾病概念与解剖结构概念在医学文本中的不同作用和关系模式，从而更好地把握医学知识的结构和逻辑，提高对生物医学文本的理解能力，尤其是在涉及多个不同类型概念相互关联的复杂语境中。这意味着模型在训练过程中，直接接触到的是具体的医学术语，这些术语是医学知识在文本层面的最直接体现，帮助模型学习医学术语的语义和用法，以及它们在不同语境中的含义。
2024-11-17 23:48:14
845
原创 UMLS 和 SNOMED-CT 对结果概念编码的适用性
美国医学信息学协会杂志》，第 30 卷，第 12 期，2023 年 12 月，抽象的结果是重要的临床研究信息。尽管在从 PubMed 自动提取 PICO（人群、干预、比较和结果）实体方面取得了进展但实体用术语编码以实现语义互操作性。本研究旨在评估统一医学语言系统 (UMLS) 和 SNOMED-CT 在编码随机对照试验 (RCT) 摘要中的结果概念方面的适用性。我们反复开发并验证了结果注释指南，并在 PubMed 上随机选择的 500 篇 RCT 摘要的结果和结论部分手动注释了具有临床意义的结果实体。
2024-11-17 23:09:32
1011
原创 2023.12Two complementary AI approaches for predicting UMLS semantic group assignment
预测 UMLS 语义组分配的两种互补 AI 方法：启发式推理和深度学习该论文的数据集是公开的。。提供的是一个管道分隔的文本文件，可以在任何文本编辑器中打开或导入到任何电子表格软件中，并且附带的 readme.txt 文件解释了每一列的信息。关于代码，从目前公开的信息来看，文中未明确提及代码是否公开以及公开的获取途径等相关信息，所以尚不能确定代码是否公开。如果你对该论文的代码获取有进一步需求，建议联系论文的作者或相关研究团队。
2024-11-17 22:31:16
734
原创 2024.5 AAAiGLaM：通过邻域分区和生成子图编码对领域知识图谱对齐的大型语言模型进行微调
将大型语言模型与从特定领域数据中得出的知识图谱相结合，代表着朝着更强大、更符合事实的推理迈出了重要的一步。随着这些模型的功能越来越强大，让它们能够在现实世界的知识图谱上执行多步推理，同时尽量减少幻觉至关重要。虽然大型语言模型在对话和文本生成方面表现出色，但它们对互连实体的领域专用图谱进行推理的能力仍然有限。例如，我们能否根据私有数据库中的关系和属性查询模型，以确定专业网络中针对特定目标的最佳联系人？答案是否定的——这种能力超出了当前方法的范围。然而，这个问题凸显了一个必须解决的关键技术差距。科学、安全和电子
2024-11-17 21:37:16
1245
原创 2023.9Graph-Enriched Biomedical Entity Representation Transformerr图形丰富的生物医学实体表示转换器
将有关各种生物医学概念和关系的外部领域特定知识注入语言模型 (LM) 可提高其处理医学概念规范化 (MCN) 等专门领域内任务的能力。然而，现有的生物医学 LM 主要使用来自术语 (例如 UMLS) 的同义概念名称作为正锚点进行对比学习训练，而准确聚合图节点和邻居的特征仍然是一个挑战。在本文中，我们提出了图形丰富的生物医学实体表示转换器 (GEBERT)，它通过图神经网络和对比学习从 UMLS 捕获图结构数据。在 GEBERT 中，我们通过引入额外的基于图的节点级对比目标来丰富实体表示。为了实现文本和结构模
2024-11-17 20:38:31
770
原创 2023 MMUGL-基于 UMLS 知识图谱的多模态图学习Multi-modal Graph Learning over UMLS Knowledge Graphs
临床医生越来越希望通过机器学习来了解患者的进展情况。我们提出了一种名为多模态 UMLS 图学习 （MMUGL） 的新方法，用于在基于统一医学语言系统的知识图谱上使用图神经网络学习医学概念的有意义表示。这些概念表示被聚合以表示患者就诊，然后输入到序列模型中，以患者多次医院就诊的粒度执行预测。我们通过结合先前的医学知识和考虑多种模式来提高绩效。我们将我们的方法与在 MIMIC-III 数据集上为学习不同粒度的表示而提出的现有架构进行了比较，并表明我们的方法优于这些方法。结果证明了基于先前医学知识的多模态医学概念
2024-11-16 14:48:45
1360
原创 2001 聚合 UMLS 语义类型以降低概念复杂性Aggregating UMLS Semantic Types for Reducing Conceptual Complexity
一旦缓存语义类型被分配到其中一个语义组，完整性原则也自动满足整个 UMLS，因为每个 UMLS 概念都被分配了至少一个来自 network.In 的语义类型，自然性原则得到满足，因为这些分组在应用程序的上下文中被领域专家仔细理解，没有任何额外的留档或培训。然而，出于某些目的，更小的和更粗粒度的语义类型分组集可能是可取的。进行分组，形成一种新的组织结构，如将 134 种语义类型聚合成 15 个语义组，每个语义组包含不同数量的语义类型，涵盖了如活动与行为、解剖学、化学与药物等不同领域概念6。
2024-11-15 23:35:02
723
原创 2002.6 Partitioning the UMLS semantic network.划分 UMLS 语义网络
添加到语义类型集合的叶子的结构等于语义类型集合的结构与叶子引入的任何关系的并集。此外，添加到语义类型集合的多个叶子将具有语义类型集合根的所有共同关系。统一医学语言系统（UMLS）语义网络中的语义类型（ST）在知识表示和应用中存在不足，例如 ST 的组织方式缺乏直观性和可解释性，其结构影响基于相似性的度量效果，导致在医学信息检索、自然语言处理等任务中难以准确应用，限制了对医学知识的有效利用和挖掘。如果一个语义类型组有一个唯一的根，那么该组中的所有其他语义类型都是其后代，因此是根语义类型的更专业的语义类型。
2024-11-15 23:05:54
1022
原创 2002 语义网络划分的评估与应用 Evaluation and application of a semantic network partition
例如，在令人印象深刻的 0.909 精确度下，至少有 6 名受试者标记了内聚分区的 28 个根中的 20 个，对应的召回率为 0.714。这项研究的参与者是本文的五位作者、我们研究小组的另外两名博士生和一位额外的教授，他们都对 SN 有一些背景知识。在网络中，这些方面隐藏在大图的整体结构中，甚至不显示继承的关系。我们的目的是提供各种视图，使用户能够研究 SN 的每个元素，即每个语义类型和每个关系（IS-A 关系或语义关系），这些关系在一个足够小的网络中，可以方便地显示在计算机屏幕上。每张表包含一个树形图。
2024-11-14 23:07:39
981
原创 2021 EMNLP Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into BERT
我们实验了三个生物医学预训练模型，即 BioBERT（Lee et al.，2020）、SciBERT（Beltagy et al.，2019）和 PubMedBERT（Guu et al.，2020），作为我们的基本模型，它们在生物医学文本挖掘任务中显示出强劲的进展。在本文中，我们重点介绍了实体预测，这是使用最广泛的目标之一，并将其他目标的探索留给未来的工作。具体来说，我们的 MoP 首先将一个大的 KG 划分为更小的子图（即 ， §2.1），并分别学习每个子图上的子图特定参数（即 ， §2.2）。
2024-11-14 22:41:35
876
原创 2024.3 KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Tec
大型语言模型（LLM），如 GPT4（OpenAI，2023）和 LLaMa2（Touvron et al.，2023），已经表现出强大的生成能力（高等人，2023；杨等人，2024b）。尽管它们在包括医学在内的各个领域都有相当大的潜力（李等人，2022a；杨等人，2023c；柯等人，2024；杨等人，2024a），但它们对医学数据的有限训练引发了对生成的 con 一致性的担忧具有既定医学事实的帐篷（Yang 等人，2023b；Bi 等人，2024）。
2024-11-14 20:17:07
1072
原创 2024.2 AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulato
人工智能医院：在多智能体医疗交互模拟器中对大型语言模型进行基准测试。
2024-11-14 18:47:08
981
Benchmarking Foundation Models with Language-Model-as-an-Examine
2024-09-11
A New Semantic Similarity Scheme for more Accurate
2024-09-04
疯狂踩坑的《动手学深度学习pytorch》windows10的环境，miniconda+GPU+Jupter
2023-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人