VLMs全解析：技术原理、核心模型与应用场景

最新推荐文章于 2025-07-26 23:48:07 发布
最新推荐文章于 2025-07-26 23:48:07 发布
阅读量858 收藏 16
点赞数 20
CC 4.0 BY-SA版权
分类专栏： vlm 文章标签： 计算机视觉 vlm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/EasyMCM/article/details/149634404

在这里插入图片描述

通过本文可学习到视觉语言模型（VLMs）的定义与核心能力（跨模态融合、目标检测、图像分割、视觉问答等），了解CLIP、LLaVA、Florence等关键模型的架构与功能，熟悉VLMs按预训练、掩码、生成、对比学习的家族分类及技术特点，掌握VLMs的训练流程（数据收集、预训练、微调等）及对比学习等关键技术。

导语

想象一下，你漫步在艺术画廊中，周围环绕着生动的绘画和雕塑。现在，如果你能向每一件作品提问并得到有意义的答案，会怎样？你可能会问：“你在讲述什么故事？”或者“艺术家为什么选择这种颜色？”这正是视觉语言模型（VLMs）发挥作用的场景。这些模型如同博物馆中的专业导览员，能够解读图像、理解上下文，并通过人类语言传递这些信息。无论是识别照片中的物体、回答关于视觉内容的问题，甚至根据描述生成新图像，VLMs都以曾经难以想象的方式融合了视觉与语言的力量。

在本指南中，我们将探索VLMs的迷人世界，包括它们的工作原理、能力，以及像CLIP、PaLaMa和Florence等突破性模型——这些模型正在改变机器理解和与周围世界交互的方式。

学习目标

  • 理解视觉语言模型（VLMs）的核心概念与能力。
  • 探索VLMs如何融合视觉与语言数据以完成目标检测、图像分割等任务。
  • 学习CLIP、PaLaMa和Florence等关键VLM架构及其应用。
  • 深入了解VLM的不同家族，包括预训练模型、掩码模型和生成模型。
  • 掌握对比学习如何提升VLM性能，以及微调如何提高模型精度。

目录

什么是视觉语言模型？

视觉语言模型（VLMs）是一类人工智能系统，旨在处理视频（或图像）与文本的多模态输入。通过融合这两种模态，VLMs能够完成需要在图像与文本间建立语义映射的任务，例如生成图像描述、基于图像回答问题（或反之）。

VLMs的核心优势在于其能够弥合计算机视觉与自然语言处理（NLP）之间的鸿沟。传统模型通常仅擅长其中一个领域——要么识别图像中的物体，要么理解人类语言。而VLMs专门设计为融合两种模态，通过学习从语言视角解读图像（反之亦然），提供对数据更全面的理解。

什么是视觉语言模型？

VLMs的架构通常涉及学习视觉与文本数据的联合表示，使模型能够执行跨模态任务。这些模型在包含图像与对应文本描述的大规模数据集上进行预训练。训练过程中，VLMs学习图像中物体与描述它们的词语之间的关系，从而支持从图像生成文本或在视觉数据上下文中理解文本提示。

VLMs能处理的关键任务示例包括：

  • 视觉问答（VQA）：回答关于图像内容的问题。
  • 图像描述生成：生成描述图像内容的文本。
  • 目标检测与分割：识别并标注图像中的不同物体或区域（通常结合文本上下文）。

视觉语言模型任务

视觉语言模型的能力

视觉语言模型（VLMs）通过融合视觉与文本信息，已发展出处理各类复杂任务的能力。它们利用图像与语言之间的内在关联，在多个领域实现了突破性功能。

视觉+语言融合

VLMs的核心是理解并同时处理视觉与文本数据的能力。通过同步处理这两种数据流，VLMs能够完成图像描述生成、带描述的目标识别，或为视觉信息关联文本上下文等任务。这种跨模态理解使输出更丰富、更连贯，使其在实际应用中具备高度通用性。

目标检测

目标检测是VLMs的一项关键能力。它使模型能够识别并分类图像中的物体，将视觉理解与语言标签关联。通过结合语言理解，VLMs不仅能检测物体，还能理解并描述其上下文。例如，它不仅能识别图像中的“狗”，还能将其与场景中的其他元素关联，使目标检测更动态、更具信息性。

目标检测

图像分割

VLMs通过图像分割增强了传统视觉模型的能力——图像分割基于内容将图像划分为有意义的片段或区域。在VLMs中，这一任务通过文本理解得到增强，即模型能分割特定物体并为每个区域提供上下文描述。这超越了单纯的目标识别，因为模型可以分解并描述图像的细粒度结构。

嵌入表示

VLMs的另一重要机制是嵌入表示，它为视觉与文本数据的交互提供了共享空间。通过关联图像与词语，模型能够执行如“给定文本查询图像”或“给定图像查询文本”的操作。这是因为VLMs能生成高效的图像表示，从而帮助弥合跨模态过程中视觉与语言的鸿沟。

视觉问答（VQA）

在VLMs的各类应用中，视觉问答（VQA）是较复杂的形式之一。其过程为：向VLM提供一张图像及与该图像相关的问题，VLM利用习得的图像解读能力和自然语言处理能力，适当地回答问题。例如，给定一张公园的图像并提问“图片中能看到多少张长椅？”，模型能够解决计数问题并给出答案，这不仅展示了视觉能力，还体现了模型的推理能力。

视觉问答（VQA）

知名VLM模型

多种视觉语言模型（VLMs）已涌现，推动了跨模态学习的边界。每个模型都提供了独特的能力，为更广泛的视觉-语言研究领域做出贡献。以下是一些最具代表性的VLMs：

CLIP（对比语言-图像预训练）

CLIP是VLM领域的先驱模型之一。它利用对比学习方法，通过学习匹配图像与其对应描述，连接视觉与文本数据。模型处理由图像-文本对组成的大规模数据集，并通过优化图像与其文本对应项的相似度（同时区分不匹配的对）进行学习。这种对比方法使CLIP能够处理广泛的任务，包括零样本分类、图像描述生成，甚至无需显式任务特定训练的视觉问答。

CLIP（对比语言-图像预训练）

参考文献：https://arxiv.org/abs/2303.07240

LLaVA（大型语言与视觉助手）

LLaVA是为复杂多模态任务对齐视觉与语言数据而设计的复杂模型。它采用了一种独特的方法，将图像处理与大型语言模型融合，以增强其解读图像相关查询并作出响应的能力。通过利用文本与视觉表示，LLaVA在视觉问答、交互式图像生成及涉及图像的对话任务中表现出色。其与强大语言模型的集成使其能够生成详细描述，并支持实时视觉-语言交互。

LLaVA（大型语言与视觉助手）

参考文献：https://llava-vl.github.io/

LaMDA（对话应用语言模型）

尽管LaMDA主要以语言模型被讨论，它也可用于视觉-语言任务。LaMDA对对话系统非常友好，当与视觉模型结合时，它能够执行视觉问答、图像控制的对话及其他多模态任务。LaMDA的改进之处在于其倾向于提供类人且上下文相关的回答，这将有益于任何需要讨论视觉数据的应用，例如自动图像或视频分析的虚拟助手。

LaMDA（对话应用语言模型）

参考文献：https://arxiv.org/abs/2201.08239

Florence

Florence是另一款强大的VLM，它融合视觉与语言数据以执行广泛的跨模态任务。其特别以处理大规模数据集时的效率与可扩展性著称。模型设计针对快速训练与部署进行了优化，使其在图像识别、目标检测和多模态理解中表现优异。Florence能够整合海量视觉与文本数据，这使其在图像检索、描述生成和基于图像的问答等任务中具备通用性。

Florence

参考文献：http://arxiv.org/abs/2111.11432

视觉语言模型的家族分类

视觉语言模型（VLMs）根据处理多模态数据的方式被分为多个家族，包括预训练模型、掩码模型、生成模型和对比学习模型。每个家族采用不同技术对齐视觉与语言模态，适用于不同任务。

视觉语言模型的家族分类

预训练模型家族

预训练模型基于大规模图像-语言对数据集构建。这些模型在通用任务上训练，允许在无需每次使用大规模数据集的情况下针对特定应用进行微调。

预训练模型家族

工作原理

预训练模型家族使用包含图像与文本的大规模数据集。模型训练目标是识别图像并将其与文本标签或描述匹配。经过广泛的预训练后，模型可针对图像描述生成或视觉问答等特定任务进行微调。预训练模型的有效性源于其初始在丰富数据上的训练，随后在较小的特定领域数据上的微调。这种方法已在各类任务中显著提升了性能。

掩码模型家族

掩码模型使用掩码技术训练VLMs。这些模型随机掩盖输入图像或文本的部分内容，并要求模型预测被掩盖的内容，从而迫使模型学习更深的上下文关系。

掩码模型家族

工作原理（图像掩码）

掩码图像模型通过掩盖输入图像的随机区域进行操作。模型随后被要求预测缺失的像素。这种方法迫使VLM关注周围视觉上下文以重建图像，从而使模型对局部与全局视觉特征有更强的理解。图像掩码帮助模型建立对图像中空间关系的鲁棒理解，这种改进的理解提升了目标检测与分割等任务的性能。

工作原理（文本掩码）

在掩码语言建模中，输入文本的部分内容被隐藏。模型被要求预测缺失的标记，这促使VLM理解复杂的语言结构与关系。掩码文本模型对掌握细微的语言特征至关重要，它们提升了图像描述生成与视觉问答等任务的性能——这些任务需要同时理解视觉与文本数据。

生成模型家族

生成模型处理新数据的生成，包括从图像生成文本或从文本生成图像。这些模型特别应用于文本到图像和图像到文本的生成任务，涉及从输入模态合成新输出。

生成模型家族

文本到图像生成

在文本到图像生成中，模型的输入是文本，输出是生成的图像。这一任务高度依赖对词语的语义编码与图像特征的理解。模型分析文本的语义含义，生成与输入描述对应的高保真图像。

图像到文本生成

在图像到文本生成中，模型以图像为输入，生成文本输出（如描述）。首先，模型分析图像的视觉内容；其次，识别物体、场景与动作；最后，将这些元素转化为文本。这些生成模型可用于自动描述生成、场景描述和从视频场景创建故事。

对比学习

对比模型（包括CLIP）通过训练匹配与不匹配的图像-文本对来识别自身。这迫使模型将图像映射到其描述，同时排除错误映射，从而实现视觉与语言的良好对应。

对比学习

工作原理？

对比学习将图像及其正确描述映射到同一视觉-语言语义空间中，同时增大视觉-语言语义不匹配样本之间的差异。这一过程帮助模型理解图像及其关联文本，适用于图像检索、零样本分类和视觉问答等跨模态任务。

CLIP（对比语言-图像预训练）

CLIP（Contrastive Language-Image Pretraining，对比语言-图像预训练）是OpenAI开发的模型，是视觉语言模型（VLM）领域的领先模型之一。CLIP处理图像与文本作为输入，在图像-文本数据集上训练，利用对比学习匹配图像与其文本描述，同时区分不相关的图像-文本对。

CLIP的工作原理

CLIP采用双编码器架构：一个用于图像，另一个用于文本。核心思想是将图像及其对应文本描述嵌入到同一高维向量空间中，使模型能够比较和区分不同的图像-文本对。

CLIP：视觉语言模型

CLIP运行的关键步骤

  • 图像编码：与CLIP模型类似，该模型使用名为ViT的视觉变换器对图像进行编码。
  • 文本编码：同时，模型通过基于变换器的文本编码器对对应文本进行编码。
  • 对比学习：随后比较编码后的图像与文本的相似度以输出结果。对于属于同一类别的图像-描述对，最大化其相似度；对于非同一类别的对，最小化其相似度。
  • 跨模态对齐：这种权衡产生了在视觉-语言匹配任务（如零样本学习、图像检索甚至逆图像合成）中表现卓越的模型。

CLIP的应用

  • 图像检索：给定描述，CLIP可找到匹配的图像。
  • 零样本分类：CLIP无需特定类别的额外训练数据即可对图像分类。
  • 视觉问答：CLIP能理解关于视觉内容的问题并提供答案。

代码示例：使用CLIP的图像到文本任务

以下是使用CLIP执行图像到文本任务的代码片段示例。该示例展示了CLIP如何编码图像与一组文本描述，并计算每个文本与图像匹配的概率。

import torch
import clip
from PIL import Image

# 检查是否有GPU可用，否则使用CPU
device = "cuda" if torch.cuda.is_available() else "cpu"

# 加载预训练的CLIP模型和预处理函数
model, preprocess = clip.load("ViT-B/32", device=device)

# 加载并预处理图像
image = preprocess(Image.open("CLIP.png")).unsqueeze(0).to(device)

# 定义要与图像比较的文本描述集合
text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device)

# 执行推理以编码图像和文本
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    # 计算图像与文本特征的相似度
    logits_per_image, logits_per_text = model(image, text)

    # 应用softmax获取每个标签与图像匹配的概率
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

# 输出概率
print("Label probabilities:", probs)

SigLip（暹罗广义语言-图像预训练）

SigLip（Siamese Generalized Language Image Pretraining，暹罗广义语言-图像预训练）是谷歌开发的先进模型，基于CLIP等模型的能力构建。SigLip通过改进的架构与预训练技术，利用对比学习的优势增强图像分类任务，旨在提升零样本图像分类的效率与准确性。

SigLip的工作原理

SigLip采用暹罗网络架构，包含两个共享权重的并行网络，用于区分相似与不相似的图像-文本对。这种架构使SigLip能够高效学习图像与文本的高质量表示。模型在多样化的图像-文本描述数据集上预训练，使其能够很好地泛化到各种未见过的任务。

SigLip（暹罗广义语言-图像预训练）

SigLip运行的关键步骤

  • 暹罗网络：模型使用两个相同的神经网络分别处理图像与文本输入，但共享参数。这种设置允许对图像与文本表示进行有效比较与对齐。
  • 对比学习：与CLIP类似，SigLip使用对比学习最大化匹配图像-文本对的相似度，并最小化不匹配对的相似度。
  • 多样化数据预训练：SigLip在大规模多样化数据集上预训练，增强其在零样本场景（即无需额外微调即可测试任务）中的表现。

SigLip的应用

  • 零样本图像分类：SigLip通过广泛的预训练，擅长将图像分类到其未显式训练过的类别中。
  • 视觉搜索与检索：可用于基于文本查询检索图像，或基于描述性文本对图像分类。
  • 基于内容的图像标签：SigLip可自动为图像生成描述性标签，适用于内容管理与组织。

代码示例：使用SigLip的零样本图像分类

以下是演示如何使用SigLip进行零样本图像分类的代码片段示例。该示例展示了如何使用transformers库将图像分类到候选标签中。

from transformers import pipeline
from PIL import Image
import requests

# 加载预训练的SigLip模型
image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-base-patch16-224")

# 从URL加载图像
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 定义用于分类的候选标签
candidate_labels = ["2 cats", "a plane", "a remote"]

# 执行零样本图像分类
outputs = image_classifier(image, candidate_labels=candidate_labels)

# 格式化并打印结果
formatted_outputs = [{"score": round(output["score"], 4), "label": output["label"]} for output in outputs]
print(formatted_outputs)

参考文献：https://arxiv.org/abs/2303.15343

训练视觉语言模型（VLMs）

训练视觉语言模型（VLMs）涉及以下几个关键阶段：

训练视觉语言模型（VLMs）

  • 数据收集：收集大规模图像-文本对数据集，确保多样性与质量，以有效训练模型。
  • 预训练：使用变换器架构，VLMs在海量图像-文本数据上进行预训练。模型通过自监督学习任务（如预测图像或文本的掩码部分）学习编码视觉与文本信息。
  • 微调：预训练模型在较小的任务特定数据集上进行微调，帮助模型适应图像分类或文本生成等特定应用。
  • 生成训练：对于生成式VLMs，训练涉及学习生成新样本（如从图像生成文本或从文本生成图像），基于习得的表示。
  • 对比学习：该技术通过最大化正样本对的相似度、最小化负样本对的相似度，提升模型区分相似与不相似数据的能力。

理解PaLiGemma

PaLiGemma是一款视觉语言模型（VLM），旨在通过结构化的多阶段训练方法增强图像与文本理解能力。它集成了SigLIP与Gemma的组件，以实现先进的多模态能力。以下是基于演讲记录与提供数据的详细概述：

工作原理

  • 输入：模型接受文本与图像输入。文本输入通过线性投影与标记拼接处理，而图像由模型的视觉组件编码。
  • SigLIP：该组件使用视觉变换器（ViT-SQ400m）架构处理图像，将视觉数据映射到与文本数据共享的特征空间。
  • Gemma解码器：Gemma解码器融合文本与图像特征以生成输出，对多模态数据集成与生成有意义结果至关重要。

PaLiGemma：工作原理

PaLiGemma的训练阶段

以下是PaLiGemma的训练阶段：

PaLiGemma的训练阶段

  • 单模态训练：
    • SigLIP（ViT-SQ400m）：仅在图像上训练，构建强大的视觉表示。
    • Gemma-2B：仅在文本上训练，专注于生成鲁棒的文本嵌入。
  • 多模态训练：
    • 224px，IB示例：此阶段模型学习处理224px分辨率的图像-文本对，使用输入示例（IB）细化多模态理解。
  • 分辨率提升：
    • 4480x与896px：增加图像与文本数据的分辨率，提升模型处理高细节与更复杂多模态任务的能力。
  • 迁移：
    • 分辨率、轮次、学习率：调整分辨率、训练轮次与学习率等关键参数，优化性能并将习得特征迁移到新任务。

参考文献：https://arxiv.org/abs/2407.07726

结论

本视觉语言模型（VLMs）指南强调了其在融合视觉与语言技术中的革命性影响。我们探索了目标检测与图像分割等核心能力、CLIP等知名模型，以及各类训练方法。VLMs通过无缝集成视觉与文本数据推动AI发展，为未来更直观、更先进的应用奠定了基础。

常见问题

Q1. 什么是视觉语言模型（VLM）？

A. 视觉语言模型（VLM）融合视觉与文本数据，以理解并生成图像与文本信息，支持图像描述生成与视觉问答等任务。

Q2. CLIP如何工作？

A. CLIP使用对比学习方法对齐图像与文本表示，有效匹配图像与文本描述。

Q3. VLMs的主要能力有哪些？

A. VLMs在目标检测、图像分割、嵌入表示与视觉问答中表现优异，通过融合视觉与语言处理执行复杂任务。

Q4. VLMs中微调的目的是什么？

A. 微调将预训练的VLM适配到特定任务或数据集，提升其在特定应用中的性能与准确性。

Agent AI: 强化学习，模仿学习，大型语言模型和VLMs在智能体中的应用
ZJQ的博客
01-18 441
在 Agent AI 中，涌现能力指的是**智能体在复杂环境和任务中展现出的超出预期的**、通过简**单组件或规则相互作用而产生的高级能力**。这种能力并非是预先明确编程设定的，而是在智能体与环境的交互过程中，基于其学习和推理机制自发形成的。以下是一些具体的涌现能力及示例：
大语言模型原理基础与前沿 检索增强视觉语言模型
AI天才研究院
06-17 837
近年来,人工智能领域取得了突飞猛进的发展,其中最引人注目的就是大语言模型(Large Language Models, LLMs)的崛起。从GPT系列到BERT,再到最新的ChatGPT,大语言模型在自然语言处理(NLP)领域展现出了惊人的能力。然而,随着技术的不断进步,研究者们发现单纯依赖于文本数据的语言模型存在一定局限性。为了突破这些限制,研究人员开始探索将视觉信息与语言模型相结合的方法,由此诞生了视觉语言模型(Vision-Language Models, VLMs)。
大模型微调（Fine-tuning）终极指南：从基础到高效应用场景全解析！
m0_65555479的博客
04-19 961
所谓大模型微调，指的在已有的大规模预训练模型基础上，通过对标注数据进行训练，进一步优化 模型的表现，以适应特定任务或场景的需求。不同于RAG或者Agent技术，通过搭建工作流来优化模型表现，微调是通过修改模型参数来优化模型能力，是一种能够让模型“永久”掌握某种能力的方法。
文档解析技术指南：从传统Pipeline到端到端大模型
Baihai_IDP的博客
01-17 1655
UB-PMC 包含真实的科学图表，而 Synth 则是生成的模拟图表。ChartDETR 等先进方法结合了 CNN 和 Transformer，实现了端到端的数据提取，而 FR-DETR 等模型则优化了流程图和树状图的结构提取，但处理复杂连接线的挑战依然存在。最初，这一领域依赖于基于规则的方法，但现在，深度学习技术的应用，如使用边界框和图像分割，极大地提升了检测的精确度和速度。但当遇到科学和专利文档时，基于学习的方法，如 Nougat 和 TATR，由于能够更好地处理复杂的布局和结构，因此表现更为出色。
简述视觉语言模型（Vision-Language Models, VLMs）
m0_61789994的博客
01-10 3677
视觉语言模型是一种能够同时处理图像和文本数据的多模态神经网络模型。其核心任务是通过跨模态的表示学习，理解和生成与视觉内容相关的语言信息，或者从语言信息中生成与之对应的视觉内容。相比于传统的单模态模型，视觉语言模型的优势在于它能够结合视觉信息和语言信息进行多方面的推理和生成。例如，在图像描述任务中，视觉语言模型需要理解图像中的对象、场景、动作等信息，并通过语言生成准确的描述。反之，在图像问答任务中，模型需要根据自然语言问题从图像中提取相关信息，并给出准确的答案。
下一代视觉语言模型对比：CogVLM2、InternVL与多模态应用
全世界的博客
05-23 3689
CogVLM2作为下一代的视觉语言模型，集成了强大的多模态理解能力，它能够处理复杂的图像和长篇幅的文本，支持用户进行多轮的视觉和文本交互。跨模态理解：理解图像与文本的结合，执行图像描述、问答、视觉推理等任务。长文本处理：处理长达8,000个字符的文本，适合处理长文档和复杂对话。高分辨率图像支持：处理最高1344x1344分辨率的图像，保持视觉细节。多轮对话：支持与用户进行多轮视觉和文本对话，保持对话的连贯性和准确性。视觉接地：根据文本描述定位图像中的对象，实现视觉与语言的无缝连接。
2025最新深度学习算法全解析：从基础到前沿的深度探索
qsmyhsgcs的博客
04-17 1547
深度学习算法作为人工智能领域的重要分支，正在不断发展壮大。从经典的 CNN、RNN 到前沿的扩散模型、多模态学习，每一种算法都有其独特的优势和应用场景。通过不断创新和优化算法模型以及拓展应用领域，深度学习将为人类社会的各个领域带来更多便利和进步。无论是图像识别、自然语言处理还是语音识别等领域，深度学习都展现出了巨大的潜力。作为开发者，我们应该不断学习和掌握这些算法，将其应用于实际问题中，创造出更智能的解决方案。希望本文能够帮助大家对深度学习算法有一个更全面的了解，激发大家对深度学习的兴趣和热情。
大模型：从基座构建到应用落地--预训练与后训练及个人解析-2025.6
weixin_74181752的博客
06-03 1388
探讨大模型预训练与后训练（包括微调和各类应用策略）的原理、成本、技术挑战与优势，为读者构建一个尽量全面的技术图景，结合当前行业趋势，为读者提供一个参考。
大模型——最全梳理 一文搞懂RAG技术的5种范式！
03-26 461
高级 RAG 引入了具体的改进措施，以克服 Naive RAG 的局限性。为了提高检索质量，它采用了检索前和检索后策略。为了解决索引问题，高级 RAG 通过使用滑动窗口方法、细粒度分割和元数据的整合，改进了索引技术。此外，它还采用了多种优化方法来简化检索过程。模块化 RAG 架构超越了前两种 RAG 范式，具有更强的适应性和多功能性。它采用了多种策略来改进其组件，例如为相似性搜索添加搜索模块，以及通过微调完善检索器。为应对特定挑战，还引入了重组 RAG 模块和重排 RAG 管道等创新方法。
MCANet: 基于多模态字幕感知的大语言模型训练无关视频异常检测
lemonzjk的博客
01-10 1564
就是仿照CVPR'24那篇LAVAD来做的，几乎一摸一样，就引入了一个音频字幕
opencv学习（图像金字塔）
weixin_63566653的博客
07-26 397
图像金字塔是一种多尺度图像表示方法，通过对原始图像进行下采样（缩小）和上采样（放大），生成一系列不同分辨率的图像集合，形似 “金字塔”（底部是高分辨率原始图像，向上逐渐变为低分辨率图像）。
opencv学习（图像梯度）
weixin_63566653的博客
07-26 425
在图像处理中，图像梯度（Image Gradient）是描述图像中像素值变化率的概念，是理解图像中 “哪里发生变化” 以及 “变化有多剧烈” 的核心工具。从简单的 Sobel 算子到复杂的 Canny 算法，本质都是通过梯度分析实现边缘提取，是计算机视觉中处理图像结构的基础。
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现轮船检测识别（C#代码UI界面版）
最新发布
xianzuzhicai的博客
07-26 621
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现轮船检测识别（C#代码UI界面版）
数据集分享 | 智慧农业实战数据集精选
Coovally_AI的博客
07-23 351
为实现精准农业管理，一批真实采集、场景丰富的农业数据集正成为模型训练与落地验证的关键基础。在智慧农业的发展浪潮下，AI视觉算法正逐步渗透进作物生长监控、病虫害检测、采摘成熟评估等细分任务。土豆、辣椒、水稻、黄桃、香蕉等多作物的视觉数据集为AI模型提供了精准“实战靶场”。Coovally平台正帮助科研人员、农业企业与初创团队跨越技术门槛，以零代码的方式，将AI能力快速应用于农业管理与作物保护中。在平台上，你可以一键调用YOLO、Transformer等热门模型，快速对农业图像进行训练与验证。
【2025目标检测】最新论文
weixin_37763484的博客
07-23 802
目标检测2025最新论文解读
【图像翻转+图像的仿射变换】——图像预处理（OpenCV）
weixin_70972767的博客
07-23 738
想象我们手上有一张矩形纸片，如果你固定纸片的一边，并沿着另一边施加一个平行于该边的力，这张纸片就会变形为一个平行四边形。剪切操作可以改变图形的形状，以便其在某个方向上倾斜，它将对象的形状改变为斜边平行四边形，而。二维空间中，图像点坐标为(x,y)，仿射变换的目标是将这些点映射到新的位置 (x', y')。输入点的坐标被扩展为齐次坐标形式[x,y,1]，以便能够同时处理线性变换和平移。相较于图像旋转中只能等比例的缩放，图像缩放更加灵活，可以在指定方向上进行缩放。是平移部分的系数，控制图像在平面上的移动。
嵌入式学习-土堆目标检测（4）-day28
liuguangqia的博客
07-23 277
如过VOC弄懂了的话，那这个代码会非常简单import osdef __init__(self,img_dir,label_dir,transform,label_transform): #定义一些后面会用的参数self.img_dir = img_dir #img地址self.label_dir = label_dir #label文件地址self.transform = transform #是否要做一些变换。
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现水下鱼类识别（C#代码，UI界面版）
xianzuzhicai的博客
07-22 952
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现水下鱼类识别（C#代码，UI界面版）
【图像处理基石】如何对遥感图像进行目标检测？
智能守恒_HengAI
07-23 595
的简化检测模型，基于ResNet50+FPN提取特征，使用旋转锚框预测目标的位置（x, y, w, h, θ）和类别。
一文看懂 视觉语言模型
05-01
### 视觉语言模型的基本概念 视觉语言模型（Vision-Language Models, VLMs）是一种跨模态的人工智能技术，旨在连接视觉数据（如图像、视频）与自然语言之间的关系。这些模型可以理解并生成关于视觉内容的语言描述，或者反过来根据语言指令分析和解释视觉信息[^1]。 具体来说，在图像描述任务中，VLM 需要识别图像中的对象、场景及其相互作用，并将其转化为连贯的自然语言叙述；而在图像问答任务中，则需结合输入的文字问题解析图像内容，提供精确的回答。这表明 VLM 不仅具备强大的感知能力，还拥有一定的推理能力和表达能力。 ### 工作原理 视觉语言模型的核心工作流程通常涉及以下几个方面： #### 跨模态特征提取 为了实现对多种类型的数据的理解，VLM 使用预训练方法来获取高质量的跨模态表示向量。例如，基于 Transformer 的架构被广泛应用于这一过程，因为它能有效捕捉序列间的依赖关系，无论是来自文本还是像素级的空间分布信息[^2]。 ```python import torch from transformers import CLIPProcessor, CLIPModel model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") image = ... # PIL image object text = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text, images=image, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution print(probs) ``` 此代码片段展示了如何利用 Hugging Face 提供的 `CLIP` 模型计算图片与若干候选词句之间的相似度得分，进而推断最匹配的结果。 #### 对齐机制 另一个关键技术是对齐机制的设计——即怎样让两个异质空间内的元素建立起映射关联。一些先进方案采用对比学习框架构建损失函数，促使正样本对拉近彼此距离的同时推开负样例组。 ### 应用领域 由于其卓越性能表现，VLM 正迅速渗透到多个实际应用场景之中： - **电子商务**: 自动生成商品详情页文案； - **社交媒体平台**: 辅助审核违规内容或增强用户体验交互界面设计； - **医疗健康行业**: 协助医生诊断疾病影像资料同时记录诊疗意见等复杂操作步骤说明文档撰写服务等等[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值