夏洛特兰兰-优快云博客

原创激活conda环境仍然使用系统python的解决方案

查阅了很多资料没有找到合理的解决方案。的镜像源，使用清华大学的镜像源。使用官网的下载命令也无法成功，出现了非常奇怪的错误，应该是。仓库的通信问题导致的，找到。版本发现在虚拟环境中使用。的语句注释掉，即可在激活。也是默认使用系统自带的。中找不到相应的版本，工具，因此下载的包受。

2024-01-06 11:21:30 1183 1

作者提出了一种基于人工智能的方法，旨在改善传统的视网膜疾病治疗流程，并帮助视网膜医生提高诊断效率和准确性。提出的方法包括一个基于深度神经网络（DNN）的模块，其中包括一个用于识别视网膜疾病和生成临床描述的模块，以及一个DNN视觉解释模块。为了训练和验证DNN模块的有效性，作者提出了一个大规模的视网膜疾病图像数据集，并提供了由视网膜医生手动标记的视网膜图像数据集作为地面真相。通过实验证明，提出的方法在定量和定性上都表现出有效性。该方法能够生成具有临床相关性的有意义的视网膜图像描述和视觉解释。

2023-12-31 16:20:32 1074 2

原创 LLaVA论文（Visual Instruction Tuning）阅读笔记

背景：使用机器生成的指令跟随数据（machine-generated instruction-following data）对大语言模型（LLM）进行指令调整可以增强它的零样本能力。本文旨在将这种思想扩展到多模态领域。本文的贡献：展示了第一个基于生成多模态指令跟随数据集。模型。LLaVA模型通过连接视觉编码器和语言模型，实现了通用的视觉和语言理解能力。LLaVA具有不错的多模态对话能力，在未见过的图像和指令上有时达到多模态GPT-4的水准（85.1%的相对得分）。

2023-12-18 22:53:27 5650 1

原创 Ubuntu16.04服务器安装LLaVA对应的CUDA

在根据LLaVA项目说明配置好conda等环境后，安装相关依赖，在测试程序中输出查看相应的CUDA版本。得到的输出结果为，说明对应版本是CUDA 11.7，检查本机CUDA版本（命令如下，得到结果为10.0）。nvcc -V检查后得到的结果是，应该是CUDA版本不够，考虑升级CUDA。

2023-12-18 22:36:04 1407

原创 Ubuntu16.04配置Anaconda运行环境

下载成功界面如上所示，接下来启动安装程序，会进入安全协议的浏览，一直回车直到需要回答，输入yes同意条款。接着系统会提示安装位置，记住这个位置，在安装完成后将。进入编辑（插入）模式，将频道信息粘贴到文件中，从anaconda官网下载对应的版本，这里以。（添加玩环境变量记得要输入。使环境变量生效，其他方法同理）在安装好之后会提示是否更新。，可以通过命令行还原。安装情况，如下所示。

2023-12-18 22:29:59 618

原创 LLaVA项目使用说明（一）运行Demo

根据LLaVA项目配置运行环境及运行Demo时遇到的一些问题。

2023-12-18 22:23:40 8387 10

原创 BioMed-CLIP 论文阅读笔记

本文聚焦于将VLP（vision-language processing）拓展到生物医学领域，介绍了一种迄今为止最大的生物医学VLP研究（使用了从PubMed Central中提取的15M 图像文本对）

2023-12-09 00:39:43 3405 1

原创 LLaVA-Med 论文阅读笔记

本文提出了一种经济有效的方法训练一个可以回答生物医学图像开放研究问题的视觉-语言对话助手。

2023-12-03 02:28:27 2456 2

原创【论文阅读】A Survey on Multimodal Large Language Models

多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。

2023-10-22 15:59:52 1434 1