【视觉语言模型+医学】23.06 LLaVA-Med（医学图片视觉助手）: Training a Large Language-and-Vision Assistant for Biomedicine

最新推荐文章于 2025-02-27 10:54:39 发布
最新推荐文章于 2025-02-27 10:54:39 发布
阅读量2.7k 收藏 22
点赞数 13
分类专栏： # LLaVA家族（视觉语言多模态） 论文解读 文章标签： LLaVA-medical 医学图像大模型 视觉大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/imwaters/article/details/136907312
版权
LLaVA-Med是一种专为医学领域设计的语言和视觉助手，通过先进行生物医学概念对齐和后续指令微调，显著提升了医学图像理解和聊天能力。实验结果显示，两阶段训练显著优于基础版本，并接近GPT-4的性能水平。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一种基于大规模生物医学图像视觉语言助手 ，一天训练完成（8xA100）

Training a Large Language-and-Vision Assistant for Biomedicine in One Day

LLaVA家族

官方资源汇总： LLaVa-med Github主页
23.04.LLaVA1.0论文: Large Language and Vision Assistant（Visual Instruction Tuning)
23.06 LLaVA-Med（医学图片视觉助手）: Training a Large Language-and-Vision Assistant for Biomedicine in One Day
23.10 LLaVA-1.5论文: Improved Baselines with Visual Instruction Tuning
23.11 LLaVA-Plus项目：LLaVA-Plus: Large

最低0.47元/天 解锁文章
论文阅读：LLaVA：Large Language and Vision Assistant
微风❤水墨
09-25 166
对于公式2中的训练，我们将数据组织为单轮对话，将问题和内容作为Xinstruct，将推理和答案作为Xa。我们在早期实验中对ChatGPT和GPT-4的使用进行了消融，发现GPT-4始终提供更高质量的指令跟随数据，例如空间推理。注意，论文使用的 GPT4 是 text-only 版本，而不是多模态版本 GPT-4V，所以 GPT4 并不能真正看到图片，只能假装看到了图片然后根据图片的描述生成多轮对话。以上是原理的介绍，我们应该更感兴趣的是Code，毕竟我们想在自己的数据上也生成指令微调数据。
11、LLaMA-Factory自定义数据集微调
Andy_shenzl的博客
09-06 1万+
针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。
LLaVA-Med 项目常见问题解决方案
gitblog_00269的博客
12-13 356
LLaVA-Med 项目常见问题解决方案 LLaVA-Med Large Language-and-Vision Assistant for BioMedicine, built towards multimodal GPT-4 level capabilities. ...
LLaVA-Med：微软推出专为临床放射学优化和报告生成的多模态模型
士多啤梨先生の博客
02-11 1026
LLaVA-Med是微软推出的小型多模态模型，专注于高效生成高质量的胸部X光放射学报告，支持快速临床部署。
论文阅读笔记(一)LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day
最新发布
Qingkaii的博客
02-27 391
论文图一：揭示了本文利用仅支持文本的GPT-4生成多轮对话和答案的过程，这个生成的过程并不会使用图像，而是使用在pubMed文章中图片的标题Caption和论文中对图片的描述。为了提供更多关于图像的上下文，论文还创建了一个提示，其中不仅包括字幕，还包括从原始PubMed论文中提到的图像的句子。本文第一阶段训练的数据集，从PMC - 15M上采样了600K的图文对。虽然该数据集只提供了一个单一的任务指令，即图像描述，但它包含了来自原始PMC - 15M的一组具有多样性和代表性的生物医学概念样本[ 49 ]。
LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day
qq_45453786的博客
01-07 603
0.摘要 0.1.Background：对话式生成式人工智能已显示出为生物医学从业者赋能的巨大潜力，但目前的研究主要集中在单模态文本上。 0.2.Issue：多模态对话式人工智能通过利用来自公共网络的数十亿个图像-文本对取得了快速进展，但这种通用领域的视觉语言模型在理解和对话生物医学图像方面仍然缺乏复杂性。 0.3.Method：文本提出了一种经济高效的方法来训练视觉语言对话助手，该助手可以回答生物医学图像的开放式研究问题。关键思想是利用从PubMed
探索医疗领域的未来：LLaVA-Med，大规模语言与视觉助手
gitblog_00072的博客
05-17 499
探索医疗领域的未来：LLaVA-Med，大规模语言与视觉助手 LLaVA-Med Large Language-and-Vision Assistant for BioMedicine, built towards multimodal GPT-4 level capabilities. ...
探索未来：LLaVA——大型语言与视觉助手
gitblog_00448的博客
08-08 1130
???? 探索未来：LLaVA——大型语言与视觉助手 项目地址:https://gitcode.com/gh_mirrors/ll/LLaVA ???? 项目介绍 LLaVA（Large Language and Vision Assistant）是一款革命性的多模态模型，旨在通过视觉指令调整，实现与GPT-4级别能力相媲美的大型语言和视觉模型。该项目由Haotian Liu、Chunyuan Li、Yuhe...
【大语言视觉助手+LLaVA1.5】23.10.LLaVA-1.5改善后视觉语言大模型: Improved Baselines with Visual Instruction Tuning
进一寸有一寸的欢喜
03-21 3350
23.10 LLaVA1.5的改进： 1. 结构上，将视觉特征提取器从 CLIP-vit-L-14 (224x224图像输入)改为了CLIP-vit-L/336(将真实图像resize到**336x336**再输入编码器) 2. 结构上，视觉特征从线性映射（单个神经元），改进为多层告感知机（MLP） 3. 数据上，大量提高数据量，特别是视觉微调 158K到了560K。。 4. 训练上，LLaVA1.5可以使用Lora微调
torch-1.2.0a0+8554416-cp36-cp36m-linux_aarch64.whl
09-10
PyTorch for Jetson Nano - with new torch2trt converter pre-built PyTorch pip wheel installers for Python 2.7 and Python 3.6 on Jetson Nano, Jetson TX2, and Jetson AGX Xavier with JetPack 4.2.1.
20190720-国金证券-2019年基金二季报分析：拥挤赛道，需适度向成长扩散.pdf
07-11
股票型基金和偏股混合型基金的规模占比分别约为23.06%和76.94%。在进行资产配置分析时，主要参考了基金的十大重仓股，因为十大重仓股在基金股票投资总市值中的比重约为55%，具有较高的代表性。 二、仓位变化和行业...
LLaVA：大型语言与视觉助手
gitblog_00080的博客
05-24 333
???? LLaVA：大型语言与视觉助手 LLaVA [NeurIPS'23 Oral] Visual Instruction Tuning: LLaVA (Large Language-and-Vision Assistant) built towards GPT-4V level capabilities. ...
LLaVA: Large Language and Vision Assistant 图片解析 图生文
.NET 人工智能实践
03-22 1635
LLaVA: Large Language and Vision Assistant 图片解析 图生文
LLaVA-Med：构建医学领域的大型语言与视觉助手
gitblog_00956的博客
10-10 915
LLaVA-Med：构建医学领域的大型语言与视觉助手 LLaVA-Med Large Language-and-Vision Assistant for BioMedicine, built towards multimodal GPT-4 level capabilities. ...
微软发布医学多模态大模型LLaVA-Med | 基于LLaVA的医学指令微调
专注计算机视觉全栈知识分享
06-18 792
为了使模型能够遵循多样的指令，我们通过仅使用语言的GPT-4来生成多轮关于所提供的生物医学图像的对话指令。受最近的指令调整工作的启发，LLaVA-Med使用GPT-4根据PMC-15M中的图像-文本对生成多样的生物医学多模态指令遵循数据，并使用一种新颖的课程学习方法对大规模生物医学领域的VL模型进行微调。通过根据多模态输入的人类意图调整模型，所得到的大型多模态模型（LMMs）在各种以用户为导向的视觉-语言任务（如图像理解和推理）中表现出强大的零样本任务完成性能，为开发通用的多模态对话助手铺平了道路。
多模态大语言模型 LlaVA 论文解读：Visual Instruction Tuning
qq_40491305的博客
06-26 7925
Alpaca [43]、Vicuna [45]、GPT-4-LLM [34]利用各种机器生成的高质量指令跟随样本来提高 LLM 的对齐能力，与专有 LLM 相比，报告了令人印象深刻的性能。重要的是，这行工作是纯文本的。Alpaca [43]、Vicuna [45]、GPT-4-LLM [34]利用各种机器生成的高质量指令跟随样本来提高 LLM 的对齐能力，与专有 LLM 相比，报告了令人印象深刻的性能。同时在使用ChatGPT和GPT-4时，作者发现GPT-4生成的指令遵循数据质量更高，比如空间推理能力。
LLaVA-Med 论文阅读笔记
qq_58400270的博客
12-03 2483
本文提出了一种经济有效的方法训练一个可以回答生物医学图像开放研究问题的视觉-语言对话助手。
详解多模态大模型：LLaVA+LLaVA1.5+LLaVA-Med
热门推荐
zenRRan的博客
02-04 1万+
作者：凯恩博，香港城市大学计算机科学博士编辑：青稞AILLaVA repo：https://github.com/haotian-liu/LLaVA/ LLaVA 1.0：Visual Instruction Tuning LLaVA 1.5：Improved Baselines with Visual Instruction Tuning一句话优点：1、极大简化了VLM的训练方式：Pre-tra...
llava-med模型调用
01-30
### 如何调用 LLaVA-Med 模型 为了调用 LLaVA-Med 模型，可以采用类似于其他基于 Python 的深度学习框架的方式。具体来说，可以通过命令行工具来进行简单的测试和验证。 对于初步的模型响应测试，可利用 `test_message` 脚本来执行基本的功能检测： ```python python -m llava.serve.test_message ``` 此脚本提供了一种简便的方法来检验模型的服务状态是否正常运行[^2]。 当涉及到更复杂的交互场景时，则可能需要通过编程接口直接与模型进行通信。下面是一个更为详细的例子，展示如何加载并使用 LLaVA-Med 模型处理特定输入: ```python from llava.model import LLAVA_Med # 初始化LLaVA-Med实例 model = LLAVA_Med() # 准备输入数据（这里假设为一段文本） input_data = "example input text" # 获取模型预测结果 output = model.predict(input_data) print(output) ``` 上述代码片段展示了从导入必要的模块到创建模型对象再到传递实际的数据给模型的过程。需要注意的是，在真实的应用环境中，具体的实现细节可能会有所不同，取决于项目的配置和其他外部依赖项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值