【转载】GitHub：数据增广最全资料集锦

wuling129 wuling129 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 246平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄23年
关注
转载 最新推荐文章于 2026-09-03 11:47:08 发布 246 阅读 AI 写同款· GEO 优化 ›
【大数据】数据集合集！ 数据建设与大数据技术知识体系，包含hadoop、hive、spark、flink主流框架和系列框架，数据中台、数据湖、数据治理、数仓建设、数据化转型等。深入浅出数据库存储：数据库理论、关系型数据库、文档型数据库、键值型数据库、New SQL、搜索引擎、数据仓库与 OLAP、大数据与数据中台。Lacus是一个开源大数据平台项目，主要解决大数据采集、存储、分析与计算问题，主要包括元数据、数据采集、数据服务、数据开发。大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等。 阅读详情

随便搜索下发现一篇很好的博文，20年就收集了很多数据增广的相关资料，转载收藏。原文链接：GitHub：数据增广最全资料集锦 - 知乎

作者收集的几个github网址真心不错：

GitHub：深度学习最全资料集锦
GitHub：图像分类最全资料集锦
GitHub：目标检测最全论文集锦
GitHub：图像分割最全资料集锦
GitHub：目标跟踪最全资料集锦
GitHub：人群密度估计最全资料集锦
GitHub：车道线检测最全资料集锦
GitHub：TensorFlow最全资料集锦
GitHub：Anchor-free目标检测最全资料集锦

前言

CVer 陆续分享了GitHub上优质的AI/CV资料集锦，如图像分类、目标检测等，之前的分享详见文末。很多同学反映这个系列很棒，因此系列将继续更新。

本文将分享的内容是： 数据增广（Data Augmentation）。该方向的研究一直都很热门，特别是现在仍十分依赖于数据，而且数据增广对各个应用方向的涨点都是简单粗暴的！

数据扩充可以简单地描述为使我们的数据集更大的任何方法。例如，要创建更多图像，我们可以放大并保存结果，我们可以更改图像的亮度或旋转它。为了获得更大的声音数据集，我们可以尝试提高或降低音频样本的音调或放慢/加快速度。下图提供了示例数据增强技术。

Amusi 在本文要分享的就是目前最全，最新的数据增广开源项目、论文等合集。主要涉及图像、音频、自然语言处理和时序的数据增广。

数据增广

项目作者：AgaMiko

GitHub - AgaMiko/data-augmentation-review: List of useful data augmentation resources. You will find here some not common techniques, libraries, links to GitHub repos, papers, and others.List of useful data augmentation resources. You will find here some not common techniques, libraries, links to GitHub repos, papers, and others. - AgaMiko/data-augmentation-reviewicon-default.png?t=N7T8https://github.com/AgaMiko/data-augmentation-review

目录

  • Images augmentation
    •  Affine transformations
      •   Rotation
      • Scaling
      • Random cropping
      • Reflection  
    •  Elastic transformations
      •  Contrast shift
      • Brightness shift
      • Blurring
      • Channel shuffle 
    • Advanced transformations
      •  Random erasing
      • Adding rain effects, sun flare...
      • Image blending 
    • Neural-based transformations
      •  Adversarial noise
      • Neural Style Transfer
      • Generative Adversarial Networks  
  • Audio augmentation
    •  Noise injection
    • Time shift
    • Time stretching
    • Random cropping
    • Pitch scaling
    • Dynamic range compression
    • Simple gain
    • Equalization
    • Voice conversion (Speech) 
  • Natural Language Processing augmentation
    •  Thesaurus
    • Text Generation
    • Back Translation
    • Word Embeddings
    • Contextualized Word Embeddings
    • Paraphrasing 
    •  Text perturbation
  • Time Series Data Augmentation
    •  Basic approaches
      •  Warping
      • Jittering
      • Perturbing 
    • Advanced approaches
      •  Embedding space
      • GAN/Adversarial
      • RL/Meta-Learning  
  • Graph Augmentation
    •  Node/edge dropping
    • Node/edge addition (graph modification)
    • Edge perturbation 
  • Gene expression Augmentation
    •  Data generation with GANs
    • Mixing observations
    • Random variable insertion 
  • Automatic Augmentation (AutoAugment)
    •  Other
      •  Keypoints/landmarks Augmentation - usually done with image augmentation (rotation, reflection) or graph augmentation methods (node/edge dropping)
      • Spectrograms/Melspectrograms - usually done with time series data augmentation (jittering, pert urbin g, warping) or image augmentation (random erasing)

计算机视觉(CV)数据增广的开源项目

1. albumentations：

一个Python库，其中包含一组有用的，大型的和多样化的数据增广方法。它提供了30多种不同类型的增广功能，易于使用。而且，正如作者证明的那样，在大多数转换中，该库比其他库要快。

GitHub - albumentations-team/albumentations: Fast and flexible image augmentation library. Paper about the library: https://www.mdpi.com/2078-2489/11/2/125

2. imgaug：

另一个非常有用且广泛使用的Python库。如作者所述：它可以帮助您为机器学习项目扩充图像。它将一组输入图像转换为一组稍有变化的新的，更大的图像。它提供了许多增广技术，例如仿射变换，透视图变换，对比度变化，高斯噪声，区域丢失，色相/饱和度变化，裁剪/填充，模糊。

https://github.com/aleju/imgaug

3 UDA：

用于图像文件的简单数据增广工具，旨在与机器学习数据集一起使用。该工具将扫描包含图像文件的目录，并通过对找到的每个文件执行一组指定的扩充操作来生成新图像。此过程使开发神经网络时可以使用的训练示例数量成倍增加，并且应显著提高所得网络的性能，尤其是当训练示例数量相对较少时。

https://github.com/google-research/uda

4 Data augmentation for object detection：

该项目介绍了如何将数据增广方法用于目标检测任务。它们支持许多数据增广，例如水平翻转，缩放，平移，旋转，剪切，调整大小。
https://github.com/Paperspace/DataAugmentationForObjectDetection


FMix - Understanding and Enhancing Mixed Sample Data Augmentation

https://github.com/ecs-vlc/FMix


Super-AND

https://github.com/super-AND/super-AND


vidaug：

这个Python库可帮助您为深度学习架构扩充视频。它将输入的视频转换为一组稍有变化的新视频。

https://github.com/okankop/vidaug

Image augmentor

https://github.com/codebox/image_augmentor

torchsample：

该Python软件包为Pytorch提供了高级训练，数据增广和实用程序。该工具箱提供了数据扩充方法，正则化器和其他实用功能。

https://github.com/ncullen93/torchsample

  • Compose()
  • AddChannel()
  • SwapDims()
  • RangeNormalize()
  • StdNormalize()
  • Slice2D()
  • RandomCrop()
  • SpecialCrop()
  • Pad()
  • RandomFlip()

Random erasing

https://github.com/zhunzhong07/Random-Erasing


data augmentation in C++：

简单的图像增广程序可通过旋转，滑动，模糊和噪点转换输入图像，以创建图像识别的训练数据。

https://github.com/takmin/DataAugmentation

Data augmentation with GANs

https://github.com/AntreasAntoniou/DAGAN

Joint Discriminative and Generative Learning

https://github.com/NVlabs/DG-Net


White-Balance Emulator for Color Augmentation

https://github.com/mahmoudnafifi/WB_color_augmenter


DocCreator

https://github.com/DocCreator/DocCreator


OnlineAugment

https://github.com/zhiqiangdon/online-augment

自然语言处理(NLP)数据增广的开源项目

Contextual data augmentation：上下文扩充是用于文本分类任务的独立于域的数据扩充。通过用标签条件的双向语言模型预测的其他单词替换单词，可以增广监督数据集中的文本。

https://github.com/pfnet-research/contextual_augmentation

nlpaug

https://github.com/makcedward/nlpaug

EDA NLP

https://github.com/jasonwei20/eda_nlp

详细信息直接查看github项目最好。

GitHub - AgaMiko/data-augmentation-review: List of useful data augmentation resources. You will find here some not common techniques, libraries, links to GitHub repos, papers, and others.

收录于
图像处理+python+深度学习

当前文章被收录于：

图像处理+python+深度学习
142 篇文章 17 人学习

图像处理+python，深度学习

订阅专栏 查看详情
标签
#人工智能 #深度学习
原文链接：https://zhuanlan.zhihu.com/p/265021958?utm_id=0>
[付源码+数据集]Github星标上万，23 个机器学习项目汇总 在本文中分享了涵盖面向初学者，中级专家和专家的23种机器学习项目创意，以获取有关该增长技术的真实经验。这些机器学习项目构想将帮助你了解在职业生涯中取得成功、和当下就业所需的所有实践。 通过项目学习是你短期内能做的最好投资，这些项目构想使你能够快速发展和增强机器学习技能。语言上，这些机器学习项目可以用Python，R或任何其他工具开发。 面向初学者的机器学习项目 阅读详情

相关推荐

GitHub数据集的大数据分析与学习主题实战

GitHub数据集通常包含了丰富的开发者活动信息，如代码提交、分支、合并请求、问题报告以及用户互动等。这些数据可以用于分析开发者行为模式、项目活跃度、社区协作效率等关键指标。了解这些内容可以帮助我们识别数据集中的关键字段和可能的分析途径。数据清洗是一个系统性的过程，涉及识别并纠正数据集中的错误、不一致和不完整数据，以提高数据质量。此过程对于确保数据集的准确性和可靠性至关重要，它是数据分析和数据挖掘的第一步。

weixin_42298254的博客 948

白嫖kaggle云GPU使用github大佬的源码训练自定义数据集(供深度学习无显卡者参考,无需自建dataset)

花了4个小时的时间终于成功学会白嫖kaggleGPU使用YOLO v5训练了自己的数据集。作为一个没有显卡的穷逼的深度学习小白，学会如何白嫖云GPU是十分重要的，借此分享给同样没有显卡的深度学习er参考。

weixin_43564060的博客 4972

测试数据集

用于测试的数据集合，配套https://github.com/zhangxinxing/basic_of_datamining

探索开源：获取完整的 GitHub 社区数据集

本篇文章聊聊 GitHub 开放数据集的获取和整理，分享一些数据整理的细节技巧，以及一些数据背后的故事。

折腾技术 5536

颜色分类leetcode-vidaug:用于训练卷积神经网络的有效视频增强技术

颜色分类leetcode 深度学习的视频增强技术 这个 python 库可以帮助你为你的深度学习架构增加视频。 它将输入视频转换为一组新的、更大的略有改动的视频。 原始视频 要求和安装 所需的包： 麻木的 PIL scipy skimage OpenCV（即cv2 ） 对于安装，只需使用sudo pip install git+https://github.com/okankop/vidaug 。 或者，可以通过git clone https://github.com/okankop/vidaug下载存储库，并使用python setup.py sdist && pip install dist/vidaug-0.1.tar.gz 。 例子 使用 CNN 对视频进行增强的经典视频分类。 训练批量图像并通过随机裁剪、随机裁剪和水平翻转来增强每批图像： from vidaug import augmentors as va sometimes = lambda aug : va . Sometimes ( 0.5 , aug ) # Used to apply augmentor with

火爆GitHub：100天搞定机器学习编程（超赞信息图+代码+数据集）

这个100天搞定机器学习编程的项目，现在已经是爆红GitHub，很快累积了3000多标星，在Twitter上，也有一大票人热捧这个项目。 同是百天计划，这个有什么特别之处？三点： 1、超赞的学习图片 2、配套的代码 3、相应的数据集 对这个项目的评价，多以awesome、great、fantastic、outstanding、perfect等评价，大家纷纷表示感谢（并祝楼主好人一生平安）。 项目地址在此： https://github.com/Avik-Jain/100-Days-Of-ML-Code 请你一定收藏好。 目前作者的100天计划，已经进行到第25天，已有的内容包括： 数据预处理、线性回归、逻辑回归、K最邻近算法、支持向量机、深度学习专项课程等，最新的内容已经讲到决策树及实现等。

5个Github上的大数据分析案例！

数据分析师的工作是手机和解释数据以解决特定问题。这个角色包括大量的时间与数据。

黑马程序员官方博客 8509

从Zemax到Speos：HUD设计数据无缝迁移避坑指南（含STEP文件精度验证）

本文详细介绍了从Zemax到Speos的HUD设计数据无缝迁移方法，重点解决Zernike曲面参数保真、虚拟厚度设置和坐标系对齐等核心问题。通过STEP文件精度验证和工程化解决方案，帮助工程师避免数据迁移中的常见陷阱，提升HUD系统设计效率。适用于Ansys Zemax和Ansys Speos用户，优化光学性能验证流程。

h6i7j8的博客 1063

VIDAUG 视频增强库使用教程

VIDAUG 视频增强库使用教程 项目介绍 VIDAUG 是一个开源的 Python 库，旨在为视频数据提供简单易用的增强接口。它提供了一系列视频增强技术，可以用于生成更多的训练数据，提高模型性能，并减少过拟合。VIDAUG 支持多种视频文件格式，如 MP4、AVI 和 MOV，使其成为视频数据增强的通用选择。 项目快速启动 安装 VIDAUG 首先，你需要安装 VIDAUG 库。你可以通过以下命...

gitblog_01129的博客 528

磁传感器技术解析：从霍尔效应到车规级应用，纳芯微的本土第一之路

磁传感器是现代工业与汽车电子中的关键感知元件，其技术演进经历了从分立器件到高集成度SoC的跨越。霍尔效应与磁阻效应构成两大物理基础，其中硅基霍尔方案凭借高性价比与成熟供应链，在车规级应用中占据主流。高精度电流检测、角度与位置感知、磁开关等场景，对传感器的温漂抑制、共模瞬态抗扰与批量一致性提出严苛要求。车规级可靠性体系与系统级集成能力，成为衡量供应商的核心标尺。随着新能源主驱、光伏逆变、工业伺服等应用爆发，具备完整信号链与隔离技术积累的厂商正逐步构建护城河。本文以纳芯微为样本，剖析其从隔离技术延伸至磁传感器平

weixin_34387468的博客 365

linux 内核OOM问题定位-SLAB_DEBUG

首先看slabinfo按的size排序查看 slub object,可以查看 space 总占用大小，及objects个数判断泄漏点 为kmalloc-128。那个泄露多看/sys/kernel/debug的slab/kmalloc*-的alloc-traces和free-traces。SLAB或者SLUB有一个用就可以，改menuconfig没有clean会覆盖之前的更改，现在看一下编译的过程。或者配置defconfig,配置完之后需要clean后再编译。1，配置menuconfig。

陌上花开缓缓归以的博客 898

如何正确从github上下载数据集等内容

如何正确从github上下载数据集等内容

weixin_42504788的博客 6713

《手把手教你YOLOv9实战》，改进专栏目录

为了提供友好的操作效果，本专栏将会手把手搭建可视化界面，我将用PyQt5 搭建一个可视化界面，可视化界面能够实现基本的图像加载与检测功能，如支持视频、摄像头，还支持更换不同的 YOLOv9 模型，并适应不同领域（如口罩检测系统、人脸检测系统、工业缺陷检测系统等），界面灵活、功能强大。通过YOLOv9加以改进设计，形成新的算法框架，一起水科研和论文，专栏会一直持续更新中，本专栏适合目标检测、分割、分类。

在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步 2147

目标检测带标签样本增广工具

github:https://github.com/XuelianZ/augment 本工具主要用于基于图像的目标检测样本增广。源标注文件为xml文件，采用voc标准标注格式，如下 样本增广工具主要实现resize、rotate、crop、flip、mosaic的一个或多个组合变换，并生成变换后的图像及对应的xml标注文件。同时还提供一个显示功能，用于检验标注框的准确性。该工具适用于批量样...

CDownLoad_ZXL的博客 2268

【新能源汽车DCDC变换器测试优化全攻略：解决电能质量/发热/过充等核心痛点】

高压直流转12V低压的DCDC变换器是新能源汽车电源系统的核心枢纽，承担着为整车低压附件、控制器及12V蓄电池供电/补电的关键作用。在新能源汽车乘用车、商用车等不同车型实际运营中，因PDU内DC/AC等模块干扰、DCDC自身设计缺陷、整车匹配性不佳及测试验证不充分，频发12V输出电能质量差导致后端元器件烧毁、变换器发热严重、蓄电池过充/欠充、智能补电功能失效等问题，还伴随低压侧电压瞬跌/浪涌、电磁干扰超标、振动后接触不良、高温下效率骤降等行业高频故障，直接影响整车可靠性和运营安全性。本文基于国标。

优快云-新能源汽车研发测试专业博主 1264

（王道考研计算机网络）第三章数据链路层-第一节：数据链路层功能概述

文章目录一：本章概述二：数据链路层基本概念三：数据链路层功能概述（1）为网络层提供服务（2）链路管理（3）组帧（4）流量控制（5）差错控制 本章是计算机网络中入门较难的一章，如果没有接触过相关内容，可能会止步于一些晦涩难懂的术语。本节内容希望大家可以用心看一看，对于大家入门是很有帮助的 一：本章概述 数据链路层位于物理层之上，主要作用就是提高物理层传输比特流的能力，使物理层可能出现差错的连接转变为逻辑上无差错的数据链路，同时向网络层提供服务。本章学习的主要就是数据链路层的功能和应用 数据链路层功能 封

快乐江湖的博客 2469

【机器学习】Pandas读取存在Github上的数据集

这种： import pandas as pd oecd_bli = pd.read_csv("https://github.com/ageron/handson-ml/blob/master/datasets/lifesat/oecd_bli_2015.csv", thousands=',') 是有问题的，数据集的在线连接应该用下面这个： https://raw.githubuserconte...

Bing's Blog 3647

SAP FICO 金税系统-金税-＞SAP接口功能开发说明书（接口字段)

SAP FICO 金税系统-金税->SAP接口功能开发说明书（接口字段)

我好像病了的博客 1257

【亲测免费】 推荐开源项目：开放源码BIN列表 —— 深入银行卡识别的智慧库

--- ## 项目介绍 在金融科技的浩瀚海洋中，一枚小小的开源项目正静待着每一位开发者与企业的发现。《开放源码BIN列表》—— 这个别具一格的仓库，它集合了全球范围内的发卡银行识别号（IIN），更通俗地被称为Bank Identification Number (BIN)。这个项目由一位热心的技术爱好者通过网络爬取、整理不同来源的数据而生，并以[CC BY 4.0](https://creat

gitblog_00049的博客 1266

五、实战pxe安装ubuntu 22.04 软raid1(实际生产pxe配置)

这段配置文件是一个cloud-init的自动安装配置，用于自动化部署Ubuntu服务器操作系统。它定义了从系统身份、键盘布局、区域设置到磁盘分区和RAID配置的一系列设置，并且包含了在安装过程的最后阶段执行的一些命令。基础设置version: 1指定了autoinstall配置文件的版本。source定义了安装源，这里是ubuntu-server。identity设置了主机名（hostname）、用户（username）和密码（password注意这里的密码是经过加密的。键盘与语言设置。

jundao1997的专栏 999

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

探索GitHub的奥秘——GH ClickHouse数据集

???? 探索GitHub的奥秘——GH ClickHouse数据集 在浩瀚的技术海洋中，有一份独特而宝贵的礼物等待着每一个渴望深入理解GitHub生态系统的研究者与开发者。GH ClickHouse数据集，一个由GH Archive精心准备的数据宝库，将自2011年以来所有GitHub仓库事件以结构化形式呈现于您的眼前。 ????️ 项目技术分析 该数据集采用了高性能列式数据库系统 ClickHouse 进...

gitblog_00036的博客 524

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

Github上10个开源好用的人脸识别数据集

在本文中，我们列出了 10 个可用于启动人脸识别项目的人脸数据集。 1| Flickr-Faces-HQ 数据集 (FFHQ) Flickr-Faces-HQ 数据集（FFHQ）是一个由人脸组成的数据集，在年龄、种族和图像背景方面比 CELEBA-HQ 数据集包含更多的变化，并且对眼镜、太阳镜、帽子等配饰的覆盖范围也更好。图像是从 Flickr 抓取的，然后自动对齐和裁剪。 大小：数据集由 70,000 张 1024×1024 分辨率的高质量 PNG 图像组成，并且在年龄、种族和图像背景方面包

TSINGSEE青犀视频官方技术博客 4893

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包

OCR数据集github链接以及RCNN所用到的数据集介绍

系列文章目录 主要解决CRNN中基于字典预测的网络转换成无字典的网络（代码实现） 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言源码 前言 collections.defaultdict()的使用 源码 from collections import defaultdict import torch import numpy as np from scipy.special import logsumexp # log(p1 + p2) = logsume

prague6695的博客 1964

大数据GitHub项目-学习必备

大数据GitHub项目-学习必备

ytp552200ytp的博客 2421

Github上开源的数据可视化工具及作品分享（一）

GitHub在2008年正式上线后，除了Git代码仓库托管及基本的Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gist）等功能。 注册用户和托管版本数量也是非常之多，其中不乏知名开源项目Rubyon Rails、jQuery、python、以及数据可视化工具 datart 等。 说到 datart ，在github和gitee上很火，跟它的前身davinci有关，积累了很多忠实用户，另外也和社区维护有关 上一下地址： Github：https:

running_elephant的博客 6472
上一篇： [转载]归一化 总结和代码实现
下一篇： [转载]Open-Set Domain Adaptation for Semantic Segmentation
点赞 0
评论 0
书签 书签 0
wuling129
wuling129
博客等级 码龄23年 486粉丝 263原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值