多模态大语言模型相关论文整理

ICML 2024 大语言模型相关507篇论文整理 国际机器学习会议(International Conference on Machine Learning,简称ICML)是机器学习领域最具影响力的国际学术会议之一。ICML聚集了来自全球范围内的学者、研究人员和从业者,以分享他们在机器学习领域的最新研究成果、进展和创新想法。今年的 ICML 会议已在 2024 年 7 月 21 日~ 7 月 27 日于奥地利维也纳举办。据官方邮件通知,今年 ICML 共收到 9473 份投稿,其中 2610 份被接收,接收率约为 27.55%。 阅读详情

引言

随着大语言模型的迅速发展,如何将大语言模型应用在视觉领域也成为了一个热门研究方向。在本文中,我们从MLLM的训练,安全性分析,高效部署等方面,筛选并总结了十篇论文,展示了当下多模态大语言模型研究的具体内容。

LAW OF VISION REPRESENTATION IN MLLMS

本文主要研究了多模态大语言模型中模型性能与跨模态对齐和视觉表示相关性的对应关系。作者提出了“视觉表示定律”来展现这种关联。为了诠释这种相关性,作者提出了AC分数,即Cross-modal alignment(A) 与 Correspondence© of the vision representation,并认为模型的最终性能与该AC分数存在一个线性关系。
在这里插入图片描述

为了从实验角度证实这种关系的存在,本文首先对A分数与C分数分别进行了计算。对于A分数(跨模态对齐),作者采用CLIP视觉嵌入作为参考,并计算了CLIP嵌入与目标视觉表示嵌入的余弦相似度作为A分数。对于C分数(视觉表示相关性),作者从若干对图像中抽取特征,并通过这些特征来预测关键点,这些预测将被用来计算C分数。最终,AC分数并定义为一个多项式关系:

在后续实验里,作者在4个视觉相关的benchmark上,采用13个视觉表征训练了若干个线性回归模型。这些线性回归模型展示出AC分数与性能高达95.72%的相关程度,验证了其有效性。随后,作者基于AC分数设计了一个训练策略,该策略可以有效的预测模型性能,高效训练出最优模型。实验表明基于AC分数的训练策略是有效的。

MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs

本文提出了一个新的评测基准,旨在评测多模态大语言模型对于复杂指令的遵循能力。此前的工作包含了许多在开放场景下对模型能力的评测,如LLaVA-Bench与MM-Vet,但这些评测对指令任务的设置往往相对宽松。MIA-Bench希望能够评测模型严格执行复杂指令的能力,包括多层的指令与组合指令,通过建立这一更严格的标准,推动模型在实际应用中的精确性和可靠性的边界,确保输出不仅符合指令的一般意图,也能满足更加精确的复杂需求。

MIA-Bench 包含 400 个图像-提示对,涵盖了多样的图像内容,包括动物、食物、地标等,以覆盖广泛的现实世界场景。同时,在指令层面,作者设计了大量不同复杂度与组合程度的指令,涵盖了五个指令类别,专门用于评测模型的语言灵活性、语法准确性和描述准确性。作者采用了GPT-4o对不同模型生成的回复进行了自动化的评测,并揭示了当前模型在复杂指令遵循方面仍然存在的若干缺陷。

HOW DOES VISION-LANGUAGE ADAPTATION IMPACT THE SAFETY OF VISION LANGUAGE MODELS?

本文研究了大模型的视觉适配对于模型安全性的影响。首先,作者设计了一系列实验来研究视觉适配对大语言模型安全性的影响。作者采用LLaMA-2 Chat 7B与Tulu-2 7B作为语言基座分别进行了视觉指令微调。微调过程中存在三种设定:仅对指令数据进行基于安全性的筛选,进行视觉指令微调与安全性微调,进行视觉指令微调与RLHF,实验结果如下所示:

实验表明,即使在对训练数据进行精心筛选的情况下,大语言模型也会出现安全性的退化。同样的,基于安全性微调的方法,包括SFT与RLHF是有效的,但是仍然无法完全保障模型的安全性能。这些发现证明了大语言模型在视觉适配的过程中存在不可避免的安全性退化。

基于这些观察,作者深入的探索了模型安全性的退化原因。此前工作已经发现了语言模型内部存在着安全性相关的层,作者沿用了这些方法,并计算了LLaMA-2-Chat 7B and LLaMA-2-Chat-VL,进行视觉适配之前与适配之后的模型,在相关层中隐藏状态的相似程度。作者发现,LLM和LVLM早期层之间的余弦相似度接近1.0,表明这些层的行为几乎完全相同。然而,这种相似度在更深层中急剧下降到大约0.2,表明出现了显著的分歧。作者观察到从视觉适配的早期到后期,隐藏层状态的相似度出现了逐渐下降。此前的工作将第6层到第14层识别为主要的安全层,本文的分析显示,这些层的余弦相似度降至大约0.5,表明在视觉适配训练期间发生了重大变化,并对模型的安全性造成的潜在的负面影响。

基于以上实验结论,作者提出了基于模型参数合并的方法来高效地解决多模态大语言模型的安全性退化问题。通过将安全性微调后的多模态大语言模型与原始的多模态大语言模型的参数进行合并,模型既避免的视觉能力的明显下降,又保持了较高的安全性,有效的解决了模型安全性退化的问题。

Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

本文提出了一个新的多模态大语言模型:Mini-Gemini。尽管现有的开源多模态大语言模型在基本视觉对话和推理方面取得了进展,但与GPT-4和Gemini等高级模型相比,仍存在性能差距。为了弥补这样的视觉差距,本文希望从三个方面来挖掘MLLM的潜力,即高分辨率视觉令牌、高质量数据和由多模态模型指导的生成。

具体来讲,为了增强MLLM在不同分辨率上的性能,Mini-Gemini引入了双视觉编码器。在低分辨率的场景下,模型采用了传统的处理流程,并使用预训练的CLIP-ViT编码器来编码视觉嵌入。通过这种方式,可以很好地保留不同视觉令牌之间的长距离关系,以便后续在大型语言模型中进行交互。在高分辨率场景下,作者采用基于CNN的编码器来进行自适应且高效的高分辨率图像处理。基于上述的不同分辨率特征,作者提出了块信息挖掘,基于低分辨率视觉令牌检索出最有效的高质量高分辨率视觉令牌,在保证总令牌数不变的情况下,增加输入视觉信息的有效性。同时,由于框架的灵活性,用户可以轻易的进行视觉令牌扩展,通过更多的视觉令牌数获得更好的性能,如下图所示:

在数据侧,Mini-Gemini同时支持视觉-语言生成与语言-视觉生成。首先,与此前工作类似,Mini-Gemini从多个数据源中获得了大量的视觉指令数据,并用于视觉指令微调。除此之外,作者还基于GPT4生成了13K的指令遵循数据,这些数据可以帮助模型在实际场景中生成有意义的prompt,并借助 Stable Diffusion进行图片生成。总的来说,Mini-Gemini进一步挖掘了VLMs的潜力,并同时赋予当前框架图像理解、推理和生成的能力。

基于Mini-Gemini框架,作者开发了一系列从2B到34B的密集型和MoE大型语言模型。这些模型在若干个零样本基准测试中取得了领先性能,甚至超过了部分闭源模型。

SLIMLLAVA: AUTOMATIC PRUNING FOR LARGE VISION-LANGUAGE MODELS

本文主要研究了多模态大语言模型的高效部署问题。尽管MLLM在复杂视觉推理任务中取得了令人满意的表现,但在部署时仍面临高资源消耗的问题。本篇文章提出了一种大型视觉-语言模型的自动剪枝方法,用于高效的视觉推理。与传统方法不同,SLIMLLAVA仅使用少量样本搜索所需的剪枝策略,通过最大化模型在未知数据上的泛化能力,从而获得大型视觉-语言模型的最优精度-效率权衡。

具体而言,由于可用于剪枝的样本有限,对搜索到的剪枝策略的真实网络目标进行评估非常具有挑战性。因此,作者通过结构风险最小化(SRM)原则来最大化剪枝策略的泛化能力,该原则可以通过经验风险和未见数据分布界定。作者经过一系列推导证明,低权重范数表明模型输出与输入的相关性弱,因此对不同数据分布有高泛化能力。尽管对在有限样本上进行准确度-效率的权衡是困难的,依然鼓励剩余的模型部分具有较低的权重范数。这样,最终的剪枝策略能够保证模型适应没有见过的下游任务分布。由于在视觉适配训练中,MLLM通常采用Projector层对视觉特征映射到LLM的输入空间,因此,其在融合视觉和语言模态方面扮演着至关重要的角色。因此,作者将Projector层的权重视作剪枝策略的搜索空间,该部分权重的优化就被等价于搜索空间的进化。此后,作者提出了一系列方法,基于欧氏距离对搜索空间进行优化,并得到了最终的最优剪枝策略。基于以上剪枝策略,作者在LLaVA上进行了广泛的测试,并证明了其在若干个下游任务上的有效性。

IMPROVING MULTI-MODAL LARGE LANGUAGE MODEL THROUGH BOOSTING VISION CAPABILITIES

本文聚焦于通过视觉理解能力的提升来增强多模态大语言模型。作者提出了一种多模态语言模型Arcana,并开发了两项关键技术以提升模型性能。首先,作者引入了多模态LoRA(MM-LoRA),旨在增强解码器在视觉-语言理解中的作用。与传统的语言模型解码器不同,MM-LoRA包含两个并行的LoRA—一个用于视觉,一个用于语言,并且分别都具备自己独特的参数。这种解耦的参数设计使得每种模态都能进行更专业的学习,并更好地整合多模态信息。其次,作者引入了梯形的查询适配器(QLadder),用于改善视觉编码器。QLadder采用了一个可学习的“梯形”结构,对来自于预训练好的视觉编码器(如CLIP)的中间表示进行深度聚合,使得模型能够学习到新的,高度信息密集的视觉特殊特征,同时保留了视觉编码器原有的强大能力。这些技术很好的增强了Arcana在多模态场景下的视觉感知能力,提高了在不同下游任务的性能。

LONG CONTEXT TRANSFER FROM LANGUAGE TO VISION

本文主要聚焦于长视频理解任务,这些任务提供了宝贵的时序信息,但现有的多模态大语言模型在理解长视频时依然存在不同。此前的主要方法是,通过使用视觉重采样器,减少视觉令牌的数量来解决这一问题。本文从一个新的视角,即语言模型的角度来探讨这一问题。作者发现,仅仅通过简单地扩展语言骨干的上下文长度,多模态大语言模型能够在没有任何视频数据训练的情况下理解数量更多的视觉令牌,作者将这一现象称作上下文转移。为了进一步的衡量多模态模型在视觉模态中对长上下文的泛化能力,作者开发了V-NIAH(Visual Needle-In-A-Haystack),一个受语言模型中NIAH基准而启发的长视频理解基准。本文提出了长视频助手(LongVA)可以处理2000帧,或超过200K的视觉令牌,而不需要额外的复杂设计。通过这种简易的上下文拓展方法,LongVA在Video-MME和MLVU基准上实现了7B模型中的最先进性能。

ZIPVL: EFFICIENT LARGE VISION-LANGUAGE MODELS WITH DYNAMIC TOKEN SPARSIFICATION AND KV CACHE COMPRESSION

本文主要研究了大型视觉语言模型(LVLMs)的效率问题。LVLM的效率受到预填充阶段注意力机制的计算瓶颈以及解码阶段获取键值(KV)缓存的内存瓶颈的限制,特别是在涉及高分辨率图像或视频的场景中。视觉内容通常显示出大量的冗余,导致LVLMs中的注意力图显著稀疏。在以往的工作中,这种稀疏性可以通过加速注意力计算或压缩KV缓存的各种方法来解决。然而,大多数研究只关注解决其中一个瓶颈,并且不能支持针对不同层以及不同任务稀疏性的动态调整。本文提出了一个为LVLMs设计的高效推理框架ZipVL,通过动态调整重要令牌比例来解决计算和内存瓶颈。此处的令牌比例是基于不同层的特定注意力分布自适应确定的,而不是固定的超参数,从而为较简单的任务提高效率,同时为更具挑战性的任务保持高性能。随后,这些归一化注意力得分被用于选择重要令牌,并仅对这些重要令牌执行注意力计算以加速预填充阶段。为了缓解解码阶段的内存瓶颈,作者对KV缓存采用混合精度量化,对重要令牌的缓存使用高位量化,而对不那么重要的令牌的缓存应用低位量化。实验表明,ZipVL可以将预填充阶段加速2.6倍,并将GPU内存使用量减少50.0%,在Video-MME基准上仅使LongVA-7B模型的准确度降低了0.2%,有效提高了LVLMs的生成效率。

MATHGLM-VISION: SOLVING MATHEMATICAL PROBLEMS WITH MULTI-MODAL LARGE LANGUAGE MODEL

本文主要研究了多模态大语言模型(MLLMs)在多模态数学推理上的应用。大型语言模型在数学推理方面展示了显著的能力,特别是在处理基于文本的数学问题时。然而,当前的MLLMs,特别是那些专注于数学推理的模型,主要集中在解决几何问题上,却忽视了数学其他领域可用的多样性视觉信息。此外,这些专门的数学MLLMs所依赖的几何信息通常来源于几个公共数据集,这些数据集在多样性和复杂性上通常是有限的。为了解决这些限制,作者构建了一个名为MathVL的微调数据集,并通过在MathVL上进行有监督的微调(SFT),开发了一系列专门的,使用不同参数规模的数学推理MLLMs,称为MathGLM-Vision。为了全面评估MathGLM-Vision的有效性,作者在几个公共基准测试和精心设计的包含2000个问题的MathVL-test基准测试上进行实验。实验结果表明,与一些现有模型(包括骨干模型和开源数学推理MLLMs)相比,MathGLM-Vision取得了显著的改进。这些发现表明,多样化数据集在提升MLLMs的数学推理能力方面具有显著的重要性。
在这里插入图片描述

SELF-INTROSPECTIVE DECODING: ALLEVIATING HALLUCINATIONS FOR LARGE VISION-LANGUAGE MODELS

本文主要研究了大型视觉语言模型(LVLMs)中的幻觉问题。为了缓解这一问题,此前的一些工作通过人为干扰原始视觉或指令输入来诱发幻觉,然后通过对比原始和干扰后的LVLMs输出来生成正负样本对,通过一些对齐训练的方法来减轻幻觉。然而,这种基于全面输入干扰的方式有时会引入潜在的噪声,并且还会使推理成本翻倍。为了解决这些问题,作者提出了一种简单而有效的方法,名为自反省解码(Self-Introspective Decoding,SID)。作者通过一系列经验性实验证明,预训练的LVLMs能够自反省地评估视觉令牌的重要性,这种评估是基于先前的视觉和文本令牌来进行的。基于这一发现,作者开发了一种基于文本和上下文感知的令牌选择策略(Context and Text-aware Token Selection,CT2S),该策略仅保留早期解码层后最不重要的视觉令牌,从而在自回归解码过程中适应性地放大视觉与文本关联的幻觉。这种策略确保模型在早期解码层接受的多模态知识能够诱导幻觉的产生,这种幻觉无目的的,并显著减少计算负担。随后,通过在原始令牌中削减这类幻觉相关的令牌,可以有效地缓解幻觉问题,同时不影响LVLMs的一般能力。广泛的实验表明,基于SID方法推理,模型生成的文本幻觉较少,质量更高,且不产生明显的额外计算成本。

【现有资料整理】灵枢 - 用于医学领域的 SOTA 多模态大语言模型 摘要:阿里巴巴达摩院推出的医疗多模态大模型灵枢(Lingshu)在医学影像理解与文本推理任务中表现优异。该模型支持12种医学影像模态(如X光、CT、MRI),通过分层跨模态对齐技术,在MedBench等基准测试中超越GPT-4.1和Claude Sonnet 4。核心功能包括医学报告生成、跨模态诊断推理,提供7B/32B参数版本,开源模型权重与评估工具包。应用覆盖辅助诊断、交互问诊等场景,但存在罕见病数据不足的局限。技术亮点包括病灶级特征提取和SOTA级VQA性能,未来将扩展动态影像分析能力。 阅读详情

相关推荐

多模态大语言模型综述(上)-摘要与技术要点

本文是的译文。对多模态语言模型的探索集成了多种数据类型,诸如图像、文本、语言、视频以及其他异构内容。尽管最新的大语言模型在文本任务中表现出现,但他们往往难以处理与处理其他数据类型。 多模态大语言模型通过绑定各种模态来解决这一限制,从而能更全面的理解各类数据。本文首先定义了多模态的概念并考察了多模态算法的历史发展, 然后,我们介绍了一系列多模态的产品,重点关注主要科技公司在这一领域的努力。这将是一份实用指南,一份深入了解多模态技术方面的指南. 此外,我们还提供了一个最新算法以及常用数据集的汇编

aidashuju的博客 1887

十篇最新经典多模态论文梳理

知乎:mathfinder职位:字节跳动算法工程师链接:https://zhuanlan.zhihu.com/p/614964205一些思考写在前面训练任务有ITC(图像文本对比学习),ITM(图像文本匹配),MLM(Maked Language Modeling,有时会扩展到MIM),LM(Language Modeling,大部分可以看作是captioning)。然后选其中1到3个作为训练Lo...

zenRRan的博客 1万+

MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models

大规模的语言模型已经显示出通过一些演示(即上下文学习)来适应新任务的能力。大规模的语言模型已经显示出通过一些演示(即上下文学习)来适应新任务的能力。然而,在视觉语言领域,大多数大规模的预训练视觉语言(VL)模型不具备进行上下文学习的能力。我们如何实现VL模型的上下文学习?在本文中,我们研究了一个有趣的假设:我们可以将上下文学习能力从语言领域转移到VL领域吗?具体来说,我们首先对语言模型进行元训练,以在NLP任务上执行上下文学习(如在MetaICL中);然后我们通过附加视觉编码器来转移该模型以执行VL任务。

c_cpp_csharp的专栏 199

6篇论文速览多模态最新研究进展

最近多模态相关的论文好火,原因就不多说了(懂得都懂),因为有不少同学来问了,我就火速整理了一部分来和你们分享。(没更完,后续更新)主要整理了6篇最新的多模态论文,还有10+篇经典的文章,论文包大家可以看文末!

学姐带你玩AI的博客 3064

ICML 2026 LLM Safety 相关论文整理

说明:ICML 2026 是 Forty-Third International Conference on Machine Learning。经核对,当前官方可查看全部论文标题的入口是 ICML 2026 Downloads / virtual poster 页面;PMLR 正式 proceedings 通常在会后最终修订后发布,因此本整理以 ICML 官方页面为准。

CSPhD-winston的博客 3086

别再手动下单了!用Python+EasyTrader+同花顺,5分钟搞定你的第一个自动化交易机器人

本文详细介绍了如何使用Python和EasyTrader结合同花顺客户端快速构建自动化交易机器人。从环境配置到实战脚本编写,涵盖自动打新、条件单、跟单策略等核心功能,并分享性能优化与风险控制技巧,帮助投资者高效实现自动化交易。

weixin_30381317的博客 399

大模型论文分享 | 多模态大模型最新进展

OODFaceAI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

老皮的博客 1521

9.9元ESP32-C3开发板实战:手把手教你用VSCode搭建RT-Thread最小系统(附避坑指南)

本文提供了一份详尽的实战指南,教你如何在售价仅9.9元的ESP32-C3开发板上,使用VSCode搭建RT-Thread最小系统。内容涵盖从ESP-IDF环境配置、BSP源码获取、内核补丁应用到编译下载与调试的全流程,并重点分享了版本选择、补丁应用等关键避坑技巧,旨在帮助开发者低成本、高效地启动嵌入式实时操作系统开发。

o4p5q6r7s的博客 229

多模态大模型(mllm)论文Survey和一些思考

1. 简介(Introduction) 自以gpt3为代表的大语言模型问世以来,纯文本模态的大模型和多种模态混合的多模态大模型都获得了迅速的发展,无论是学术界还是工业界。文本模态的大语言模型几乎学习了目前人类能够从公开渠道获取到的所有的文本数据,结合模型规模的扩大以及模型“涌现”能力,使得大语言模型的“智能”、“记忆”、“推理”、“对话”、“创作”等多方面的能力得到了长足的发展。互联网发展到今天,除了海量的文本数据之外,还产生了更多的多模态数据,如图文多模态数据、音视频、甚至于某些终端还包含了位姿信号、深

白乔专栏 1298

python爬取巨潮资讯网所有股票年报数据

爬虫获取巨潮资讯网数据

qq_42752524的博客 6130

Obsidian免费同步全攻略:手把手教你用OneDrive+Remotely Save插件跨设备同步笔记

本文提供了一份详细的Obsidian免费同步方案指南,核心是利用OneDrive云存储与Remotely Save插件实现跨设备笔记同步。文章手把手教学,涵盖插件安装、OneDrive授权配置、桌面端与移动端的同步设置,并解答了常见问题,帮助用户在不依赖官方付费服务的情况下,构建稳定、自主的免费同步工作流。

bash7scripter的博客 852

ICLR 2025(投稿) | 多模态大语言模型相关论文整理

©作者|刘子康‍‍‍‍‍‍‍‍机构|中国人民大学研究方向|多模态,自然语言处理引言随着大语言模型的迅速发展,如何将大语言模型应用在视觉领域也成为了一个热门研究方向。在本文中,我们从MLLM的训练,安全性分析,高效部署等方面,筛选并总结了十篇论文,展示了当下多模态大语言模型研究的具体内容。LAW OF VISION REPRESENTATION IN MLLMS本文主要研究了多模态大语言模型中模型...

Kaiyuan_sjtu的博客 385

12、认知地图的建模与学习

本博客系统介绍了认知地图的定义、背景及其在机器智能领域的应用,重点探讨了模糊认知地图(FCMs)的建模方法与优势。文章还对比分析了几种主流的认知地图模型(如Axelrod模型、Kosko模型等),并讨论了模型的稳定性条件及实际应用前景。通过智能制造和医疗诊断的具体案例,展示了认知地图在复杂因果推理中的强大能力,并提出了模型优化方向与未来研究展望。

plant的博客 213

CVPR 2025图像/视频/3D生成论文汇总(附论文呢/代码)

多模态大语言模型(Multi-Modal Large Language Model)图像生成(Image Generation/Image Synthesis)视频生成(Video Generation/Image Synthesis)3D生成(3D Generation/3D Synthesis)2025年CVPR可复现论文合集,含代码。图像编辑(Image Editing)视频编辑(Video Editing)3D编辑(3D Editing)其他多任务(Others)

yyyyyybw的博客 2372

【C++项目】从零实现RPC框架「三」:项⽬抽象层实现

本文详细介绍了如何从零实现一个 C++ RPC(远程过程调用)框架,包括通信抽象、消息抽象、通信实现、以及消息分发器的实现。通过系统化的代码示例,展示了如何构建一个高效、灵活且可扩展的 RPC 框架。

You build it, you run it 2165

【SpringBoot 3.x 第92节】Spring Modulith:构建模块化单体架构(基于 Spring Boot 3),一文带你搞透(超详细)!

🏆本文收录于《滚雪球学SpringBoot 3.x》,专门攻坚指数提升,本年度国内最系统+最专业+最详细(永久更新)。    该专栏致力打造最硬核 SpringBoot3 从零基础到进阶系列学习内容,🚀均为全网独家首发,打造精品专栏,专栏持续更新中…欢迎大家订阅持续学习。 如果想快速定位学习,可以看这篇【SpringBoot3教程导航帖】,你想学习的都被收集在内,快速投入学习!!两不误。

**My Coding Family** 1007

持续学习+多模态简直是发论文神器!最新10种创新思路汇总

文章介绍了MMCL的基本背景知识和设置,并提出了一个结构化的分类法,将现有的MMCL方法分为四类:基于正则化、基于架构、基于重放和基于提示的方法。与现有的视觉或模态增量设置不同,MICL结合了模态和任务类型的转变,这些变化会导致灾难性遗忘。2.引入了MoInCL方法,包含伪目标生成模块(PTGM)和基于指令的知识蒸馏(IKD),以应对任务类型变化和模态不一致带来的挑战。1.提出了一种新的持续学习场景——模态不一致持续学习(MICL),其中不同的模态和任务类型以增量方式引入。

m0_73122726的博客 1156

永恒之蓝漏洞复现(ms17-010)

Metasploit Framework(MSF)是一款开源安全漏洞检测工具,附带数千个已知的软件漏洞,并保持持续更新。Metasploit可以用来信息收集、漏洞探测、漏洞利用等渗透测试的全流程,被安全社区冠以“可以黑掉整个宇宙”之名。刚开始的Metasploit是采用Perl语言编写的,但是再后来的新版中,改成了用Ruby语言编写的了。在kali中,自带了Metasploit工具。

渗透之路,攻防之间皆学问 2万+

多模态大语言模型arxiv论文略读(126)

➡️ 实验设计:研究团队将Align2LLaVA应用于158K合成指令数据集,生成了一个压缩后的数据集Align2LLaVA-Instruct,该数据集包含30%的原始问题和30%的剩余答案,仅为原数据集的9%。此外,研究团队还提出了新的评估指标,以全面评估当前流行的多模态大语言模型(MLLMs)在第一人称视频理解中的表现。多模态大型语言模型(MLLMs)和大型视觉模型(VLMs)的出现,为解决这些问题提供了新的可能,它们能够处理和分析来自多种来源的数据,提供更全面的环境理解。

Jamence的博客 780

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

多模态大语言模型arxiv论文略读(125)

➡️ 实验设计:研究团队将Align2LLaVA应用于158K合成指令数据集,生成了一个压缩后的数据集Align2LLaVA-Instruct,该数据集包含30%的原始问题和30%的剩余答案,仅为原数据集的9%。此外,研究团队还提出了新的评估指标,以全面评估当前流行的多模态大语言模型(MLLMs)在第一人称视频理解中的表现。多模态大型语言模型(MLLMs)和大型视觉模型(VLMs)的出现,为解决这些问题提供了新的可能,它们能够处理和分析来自多种来源的数据,提供更全面的环境理解。

Jamence的博客 851

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

整理:4篇论文重塑视觉理解,构建未来的视觉智能

我们整理了近两年顶级学术会议和期刊中的一些大视觉模型研究论文,这些文章共同探讨了自回归模型在视觉领域的潜力,尤其是在无语言输入的情况下如何有效地处理视觉数据,展示了这一领域的前沿研究和技术挑战。

mslion的博客 809

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

CVPR2024|AIGC(图像生成,视频生成,3D生成等)相关论文汇总(附论文链接/开源代码/解析)【持续更新】

整理汇总下今年CVPR AIGC相关的论文和代码

Kobaayyy的博客 8429

【研究趋势】Nips2024 多模态论文热点分析

2024年NeurIPS(神经信息处理系统大会)的论文趋势显示,多模态学习和大语言模型研究持续处于人工智能领域的前沿。在3000多篇录用论文中,多模态强相关论文超过200篇(约8%),而大语言模型与多模态大模型相关研究的总占比更是超过15%。当前研究热点主要集中在视觉识别、视觉理解、视觉对齐等基础能力建设,以及偏好对齐(幻觉处理)、高效模型、Agent和强化学习等应用导向的技术创新。这些研究方向的多样性和深度,充分体现了多模态学习在人工智能发展中的核心地位,也预示着该领域在未来仍将保持强劲的发展势头。

戴挽舟的博客 3109

2024年5月22日Arxiv最新大语言模型相关论文

原标题作者机构: 英国法律:AI对判决书的主题建模的案例研究霍莉·萨金特、艾哈迈德·伊兹迪恩和费利克斯·斯特菲克摘要: 本文通过开发和应用一个新颖的分类法来处理法律分析中的一个关键空白,该分类法用于主题建模英国的判决案件。利用一个经过筛选的判决案件数据集,我们使用大语言模型Claude 3 Opus来探索功能性主题和趋势。我们发现Claude 3 Opus以87.10%的准确率正确分类了主题。分析揭示了在各种法律领域中应用判决的明显模式。

数智笔记 2543

整理:4篇专注于多模态大语言模型(MLLM)的瘦身变体论文

根据“缩放定律”,模型越大,通常表现越好,但这也意味着更高的资源投入。

mslion的博客 836
上一篇: 基于LangChain+ChatGLM2的本地知识库实践
下一篇: 首个Mamba+Transformer多模态大模型
大模型应用场景
博客等级 码龄5年 7683粉丝 1350原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值