Dataset之WebVision：WebVision数据集简介、下载、使用方法之详细攻略

最新推荐文章于 2024-08-17 12:16:48 发布
最新推荐文章于 2024-08-17 12:16:48 发布
阅读量8.5k 收藏 14
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Dataset
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41185868/article/details/90454474
本文详细介绍了WebVision数据集，其主要有Google和Flickr两个数据源，数据类别与ImageNet相同，为1000类别，训练数据由240万幅图片构成。同时指出该数据集存在数据分布不平衡、含有大量错误或歧义标签两大挑战，下载和使用方法后期更新。

Dataset之WebVision：WebVision数据集简介、下载、使用方法之详细攻略

 

 

 

目录

WebVision数据集简介

1、WebVision数据集挑战

WebVision数据集下载

WebVision数据集使用方法

 

 

 

 

WebVision数据集简介

        WebVision数据集主要有Google和Flickr两个数据源。主要是利用ImageNet1000个类的文本信息 从网站上爬数据，所以它的数据类别与｝mageNet完全一样，为1000类别，由240万幅图片构成训练 数据。比｝mageNet的两倍还多，分别由5万张图片构成验证集和测试集（均带有人工标注）。 

1、WebVision数据集挑战

(1)、数据分布不平衡

      WebVision数据集主要有两个挑战。 第一个挑战，数据分布非常不平衡。 如图横坐标代表1000个类别，纵坐标代表每个类别的图片数量。如图浅蓝色的平稳曲线是ImageNet的 数据分布，每一个类别大概有1200张图片。而深蓝色曲线为Web Vision数据分布，可以看出有的类别高达11000张，而最少的小于400张图片，这种极度不平衡的分布对训练模型影响非常大。 

(2)、数据集含有大量错误或歧义的标签

          第二个挑战，数据集含有大量错误或歧义的标签。 数据集中含有大量与类别标签不相关或歧义的图片，也就是所谓的噪声，这也是最主要的一个难点。比如Willet可以是一种鸟，但也可以是人名，也可以是建筑物的名字。

 

WebVision数据集下载

后期更新……

 

 

 

WebVision数据集使用方法

后期更新……

 

 

弱监督学习：开启机器学习新纪元
AI大模型应用之禅
06-09 890
弱监督学习：开启机器学习新纪元 1. 背景介绍 1.1 传统监督学习的局限性 在过去的几十年里,监督学习一直是机器学习领域的主流范式。它通过使用大量的带标签数据来训练模型,取得了显著的成果。然而,随着深度学习的兴起和应用领域的拓展,传统
web 数据集
12-24
这是web数据挖掘的数据集，需要的同学可以下载
Webision数据集
wanly00的博客
06-27 303
下载地址。
Web服务与数据集
老梁的专栏
05-23 1290
本例创建一个Web服务，它将SQL server服务器中的Northwind数据库中的Products表暴露给用户，通过GetProducts()方法返回一个数据集供客户端使用。(1)创建一个新的Web服务，取名为Products。(2)打开Products.cs。要使用SQL Server提供的系统服务，需要在文件头引用System.Data 和 System.Data.SqlClient命名空
ICCV2021- 牛津大学新的预训练视频文本数据集WebVid-2M，设计用于端到端检索的联合视频和图像编码器！代码已开源！...
我爱计算机视觉
12-07 2883
关注公众号，发现CV技术之美▊写在前面视频文本检索的挑战包括视觉网络结构的设计 和训练数据的性质 ，因为可用的大规模视频文本训练数据集 (例如HowTo100M) 是noisy的，因此只...
计算机视觉常用数据集,计算机视觉数据集
weixin_32819955的博客
07-29 404
WallFlower dataset: 用于评价背景建模算法的好坏. Ground-truthforeground provided.Foreground/Background segmentation and Stereodataset: from Microsoft Cambridge.VISOR: Video Surveillance Online Repositiory:大量的视频和路面实...
智慧的疆界：从图灵机到人工智能
最新发布
wacpguo的专栏
08-17 1154
​ “人工智能”作为一个专业名词，是在1956年首次出现的。人工智能的起源，公认是1956年的达特茅斯会议。​ 符号主义学派的思想和观点直接继承自图灵，提倡直接从功能的角度来理解智能，简而言之就是把智能视为一个黑盒，只关心这个黑盒的输入和输出，而不关心黑盒的内部结构。​ 人类大脑神经网络结构的研究学者，主张从生物结构角度出发，让机器先去模拟人脑构造，再从中获得智能。​ “机器拟人脑”称为“连接主义学派”。
Github 项目 - CurriculumNet
长风破浪会有时，直挂云帆济沧海
12-29 1865
原文：Github 项目 - CurriculumNet - AIUAI 论文：CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images - ECCV2018 实现：<Github - research-curriculumnet - Caffe> 论文阅读学习 - CurriculumNet: Wea...
程明明：面向弱监督的图像理解
深度学习大讲堂
01-02 8437
点击上方“深度学习大讲堂”可订阅哦！编者按：若言琴上有琴声，放在匣中何不鸣？若言声在指头上，何不于君指上听？苏轼的《琴诗》暗示了全局认知对于场景理解的重要性。而在图像理解领域，相较于基于精细标注数据的全监督学习，弱监督学习本质上是一种试图从全局出发来理解场景的方式，也更接近于人类对世界的认知机制。本文中，来自南开大学的程明明副教授，将从局部认知拓展至全局认知，为大家介绍面向弱监督的图像理解。大讲堂
[论文笔记03] Review–A Survey of Learning from Noisy Labels
WindyZXY的博客
03-06 1301
在本次调查中，我们将现有的噪声标签学习工作总结为两个主要类别：损失校正和样本选择，并介绍它们的方法、常用的实验设置、数据集和最先进的结果。最后，我们讨论了一个有前途的研究方向，可能对未来的研究有价值。
CASIA-WEBFACE 数据集
11-15
CASIA-WEBFACE 数据集，亲测可用。
js画图 webvisio-js2.5
07-04
主界面分为5个主要区域,分别为“绘图区”，“工具栏”，“图元区”，“辅助区”，“历史区”。
webdataset:一个高性能的基于 Python 的 IO 系统，用于大型（和小型）深度学习问题，对 PyTorch 有强大的支持
07-24
网络数据集 WebDataset 是 PyTorch 数据集 (IterableDataset) 实现，提供对存储在 POSIX tar 存档中的数据集的高效访问，并且仅使用顺序/流数据访问。 这在许多计算环境中带来了显着的性能优势，对于非常大规模的训练至关重要。 虽然 WebDataset 可以扩展到非常大的问题，但它也适用于较小的数据集，并简化了深度学习训练数据的创建、管理和分发。 WebDataset 实现标准 PyTorch IterableDataset接口并与 PyTorch DataLoader 。 访问数据集非常简单： import webdataset as wds dataset = wds . WebDataset ( url ). shuffle ( 1000 ). decode ( "torchrgb" ). to_tuple ( "jpg;png" ,
VidTIMIT Audio Video Dataset国内源下载
11-24
VidTIMIT数据集由43人背诵短句的视频和相应的音频记录组成。 它可以用于唇读、多视角人脸识别、多模态语音识别和人脸识别等领域的研究。 数据集记录在3个会话中，会话1和会话2之间的平均延迟为7天，会话2和会话3之间的平均延迟为6天。 这些句子是从TIMIT语料库的测试部分选择的。 每人有10个句子。 前6个句子(按文件名按字母数字排序)分配给会话1。 接下来的两句话分配给会话2，剩下的两句话分配给会话3。 所有人的前两句话都是一样的，剩下的八句话则因人而异。 除了句子之外，每个人在每个环节都要进行头部旋转。 这个序列包括人向左，向右，回到中心，向上，然后向下，最后回到中心。 录音是在办公环境中使用广播质量的数字摄像机进行的。 每个人的视频被存储为一个编号序列的JPEG图像，分辨率为512 x 384像素。 在JPEG图像的创建过程中使用了90%的质量设置。 相应的音频存储为单声道，16位，32千赫WAV文件。
WEBVision JS版本
12-03
非Flash版本，不用装Flash即可使用。本版本是试用版，但功能齐全。
视频文本描述数据集
m0_51193993的博客
03-07 1473
视频文本描述公开数据集。
【文生视频】InternVid: A Large-scale Video-Text Dataset forMultimodal Understanding and Generation
一只大憨憨的博客
04-25 2026
我们的核心贡献是开发一种可扩展的方法，用大型语言模型（LLM）自主构建高质量的视频文本数据集，提供视频文本表示学习模型ViCLIP。目前的研究依赖于HowTo100M[2]、HD-VILA[3]和YTTemporal[4，5]等数据集，这些数据集的文本是使用自动语音识别（ASR）生成的。尽管规模很大，但这些数据集在视频和相应的文本描述之间的语义相关性往往很低[2-5]。实证研究表明，改善这种相关性（例如，将视频与字幕对齐以提高其匹配性）显著有利于视频检索和视频问答等下游任务[6]。文本视频对齐非常重要。We
阿里AI摘图像识别竞赛WebVision桂冠，万物识别准确率创世界纪录
AI科技大本营
06-20 5777
近日，第三届图像识别竞赛WebVision中，阿里AI击败了全世界150多支参赛队伍，获得冠军。 WebVision由谷歌、美国卡耐基梅隆大学、苏黎世联邦理工大学等机构联合全球视觉技术领域顶级学术会议CVPR发起，是目前图像识别领域最权威的竞赛之一，被业界誉为人工智能“世界杯”。 该竞赛要求参赛的AI模型将1600万张图片精准分类到5000个类目中。竞赛结果显示，阿里AI以82.54%的识别准...
各类图像数据大集合（下载链接）
热门推荐
weixin_39931683的博客
10-22 1万+
收集自各种公众号，留着不时回来看看 属性识别类 MNIST手写数据集 数据链接： http://yann.lecun.com/exdb/mnist/index.html 百度EasyDL平台的水果分类数据集 数据链接：https://pan.baidu.com/s/11SstydxQNXNNq9tk9kuyfg 提取码：vvci Imagenet图像分类数据集（1400多万幅图片，涵盖2万多个类别） 数据链接： http://www.image-net.o
COFW_Dataset: 训练与测试数据集的详细介绍
1. **数据准备**：下载数据集，准备训练集和测试集，并进行适当的数据预处理，如图片大小统一、数据归一化等。 2. **模型选择**：根据任务需求选择合适的面部特征点检测模型，可以是传统的机器学习模型，也可以是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值