介绍一下 CLIP 和其网络结构

原创 于 2025-11-25 17:03:00 发布 · 85 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图像编码器

在这里插入图片描述

[图像] → 图像编码器 → 图像特征向量
                                      ↘
                                        对比损失函数（Contrastive Loss）
                                      ↗
[文本] → 文本编码器 → 文本特征向量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CLIP：连接文本和图像的神经网络
梁瑛平的博客
10-14 1559
Learning Transferable Visual Models From Natural Language Supervision论文地址：代码地址：主要工作：具体实现：实验结果： 论文地址： https://arxiv.org/abs/2103.00020 代码地址： https://github.com/OpenAI/CLIP 主要工作： 作者证明了简单的预训练任务，预测哪个图像的标题是一种有效的和可伸缩的方式，在从互联网收集的4亿（图像-文本对）数据集上从头学习 SOTA 的图像表示。经过预训
clip和blip的区别
强化学习曾小健
06-11 3728
CLIP侧重于学习视觉-语言对齐,适用于图像分类、检索等任务。BLIP在CLIP的基础上,增强了生成能力,能够生成高质量图像描述,应用范围更广。BLIP通过CapFilt模块降低了训练数据噪声,提高了数据质量。新的BLIP-2模型进一步降低了训练成本,通过复用CLIP视觉编码器和大型语言模型实现了强大的视觉-语言理解和生成能力。
Stable Diffusion核心网络结构——CLIP Text Encoder
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-18 3192
详细介绍Stable Diffusion核心网络结构——CLIP，作用，架构等。
CLIP——多模态预训练模型介绍
薛定谔的猫的博客
10-11 3987
CLIP的zero-shot性能虽然和有监督的ResNet50相当，但是还不是SOTA，作者估计要达到SOTA的效果，CLIP还需要增加1000x的计算量，这个硬件条件很难满足。zero-shot CLIP 在某些数据集上表现也并不好，在一些细分类任务上，CLIP 的性能低于 ResNet50。同时 CLIP 也无法处理抽象的概念，也无法做一些更难的任务（如统计某个物体的个数）。作者认为还有很多很多任务，CLIP 的 zero-shot 表现接近于瞎猜。
手撕CLIP -- Day1 -- 基础原理
m0_62030579的博客
02-03 1606
手撕CLIP – Day1 – 基础原理
Proto-CLIP: Vision-Language Prototypical Network for Few-ShotLearning——用于少样本学习的视觉-语言原型网络
Together_CZ的博客
12-16 2200
Proto-CLIP: Vision-Language Prototypical Network for Few-ShotLearning——用于少样本学习的视觉-语言原型网络
ssd网络结构_SSD的理解
weixin_39834281的博客
12-06 2143
前段时间一直在看ssd，但是总是不太明白，今天突然明白了，就记录下自己的理解先看下ssd的网络结构如下：由于不想画这个结构，就盗了别人的图，非常感谢此作者。SSD采用VGG16作为基础模型，然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。可以明显看到SSD利用了多尺度的特征图做检测。模型的输入图片大小是300x300（还可以是512x512，其与前者网络结构没有差别，只是最后新增...
轻量化网络结构——MobileNetV2
小花生的博客
01-16 7885
《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》—Google 1.MobileNetV2结构是基于倒置残差结构，原来的残差结构的主分支是有三个卷积，两个逐点卷积通道数较多，而倒置的残差结构刚好相反，中间的卷积通道数（依旧使用深度可分离卷积结构）较多，两端的较少。另外，我们发现去除主分支中的非线性变换是有效的，这可以保持模型的表现力。 2.论文
CLIP模型原理
zzZ_CMing的博客
10-18 5060
CLIP 模型原理
多模态视觉大模型(2): 常用模型介绍（CLIP和LLAVA）
@bangbang的博客
04-28 3062
Loss使用的是交叉熵来定义，通过Loss来约束使得相同图像和文本对，他们的距离要足够近；其他不匹配的要尽可能远。我们可以换个视角来解决该问题，将它看做两个任务。第一个任务是针对每张图像我需要分类对，需要将它正确分类为对应的类别id;针对每个文本，我们也希望它也能够正确的分类到对应的类别id。所以可以通过两个交叉熵来实现，一个是文本分类的交叉熵，一个是图像分类的交叉熵，通过转置来实现。然后将两个交叉熵的损失加在一起就可以了，# 主函数# 加载数据集# 获取一个小批量的图像和标签。
多模态视觉模型：CLIP与ALIGN如何连接图文？
最新发布
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
05-14 5万+
多模态视觉模型：CLIP与ALIGN如何连接图文？ 在人工智能领域，实现图像和文本两种模态信息的有效关联与交互，一直是研究的热点和难点。模态视觉模型旨在打破图像与文本之间的 “语义鸿沟”，让计算机能够理解图像与文本背后的语义联系。CLIP（Contrastive Language-Image Pretraining）和 ALIGN（A Large-scale In-domain Generalized Representations from Transformers）作为其中的代表性模型。
【图像去噪】论文复现：CLIP用于图像去噪提升泛化性！CLIPDenoising的Pytorch源码复现，跑通CLIPDenoising全流程，图文结合，网络结构梳理和拆解，对应源码注释！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-18 1110
论文题目：Transfer CLIP for Generalizable Image Denoising —— 用于可泛化图像去噪的转移CLIP。【图像去噪】论文精读：Transfer CLIP for Generalizable Image Denoising（CLIPDenoising）CLIPDenoising理论部分详解见上面对应的论文精读，本文以源码为主，理论部分只是粗略回顾。启发：多看其他领域的文章，分析是否能应用在去噪领域，这是产生idea的要素之一；
python读取 pcd 数据 三种方法
luoganttcc的博客
02-08 7334
代码在git import open3d as o3d import numpy as np def read_pcd(file_path): pcd = o3d.io.read_point_cloud(file_path) # print(np.asarray(pcd.points)) colors = np.asarray(pcd.colors) * 255 points = np.asarray(pcd.points) # print(points.shape
jetson nano 查看jetpack 版本
luoganttcc的博客
06-27 6240
cat /etc/nv_tegra_release # R32 (release), REVISION: 4.4, GCID: 23942405, BOARD: t210ref, EABI: aarch64, DATE: Fri Oct 16 19:44:43 UTC 2020 可以是jetpack 4.4
离职交接清单
luoganttcc的博客
03-24 5693
cd /home/oem/lg/project/centerpoint_cpp/CenterPointTensorRT-master/src/build cmake .. make ./centerpoint cd /home/oem/lg/project/centerpoint_pro/python_center_point/CenterPoint1 conda activate py36 python demo1.py
神经网络稀疏训练
luoganttcc的博客
12-09 5158
对于每一个通道都引入一个缩放因子，然后和通道的输出相乘。接着联合训练网络权重和这些缩放因子，最后将小缩放因子的通道直接移除，微调剪枝后的网络，特别地，目标函数被定义为： 其中(x,y)代表训练数据和标签，是网络的可训练参数，第一项是CNN的训练损失函数。是在缩放因子上的乘法项，是两项的平衡因子。论文的实验过程中选择，即正则化，这也被广泛的应用于稀疏化。次梯度下降法作为不平滑(不可导)的L1惩罚项的优化方法，另一个建议是使用平滑的L1正则项取代L1惩罚项，尽量避免在不平滑的点使用次梯度。 这里的缩放因子就是
isp 图像算法(二)之dead pixel correction坏点矫正
luoganttcc的博客
12-04 4856
相机中的坏点就是那些和周围不一样的点，就是那些数值极大或者极小值点，你可以理解一张曲面的山峰或者山谷，人群中也是一样，那些与大众不一样的人就是"坏人",衡量好坏用他与周围的差值， abs[V(好人)-v(坏人)] if (abs(p1 - p0) > self.thres) and (abs(p2 - p0) > self.thres) and (abs(p3 - p0) > self.thres) \ and (abs(p4 - p0)
人体姿态估计 自顶向下与自底向上
luoganttcc的博客
07-02 4831
自顶向下 自顶向下的算法先从图像中检测出所有人，随后利用单人姿态估计的方法对所有人进行姿态估计。自顶向下算法的缺点是算法运行效率随着人数增加而降低，且部分被遮挡的人无法被检测，精度不高。 自底向上 自底向上的算法，先检测出所有人的骨点，再将骨点进行连接形成图，最后通过图优化的方法剔除错误的连接，实现多人姿态估计。自底向上算法的优点是运行时间不随人数增加而线性增加，更有利于实时多人姿态估计。 参考链接 ...
orb 算法源码实现
luoganttcc的博客
12-13 4699
代码在git ├── 1.png ├── 2.png ├── build ├── CMakeLists.txt └── orb_self.cpp cd build cmake .. make ./orb_cv ../1.png ../2.png // // Created by wcm on 2020/6/1. // //nmmintrin与SSE指令集有关 //SSE指令集提供标量和包裹式浮点运算 #include <opencv2/opencv.hpp> #include <
CLIP resnet网络结构
09-22
CLIP resnet网络结构是一种基于ResNet的视觉模型，它结合了图像和文本的特征提取。在CLIP中，ResNet被用作视觉特征提取器。ResNet是一种深度卷积神经网络，通过引入残差连接来解决梯度消失问题，并且具有很好的特征...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值