【Datawhale夏令营】第二期 Deepfake Task3学习总结

Datawhale AI 夏令营2024·第二期(Deepfake攻防挑战赛-图像赛道)Task01 Datawhale AI 夏令营2024·第二期(Deepfake攻防挑战赛-图像赛道)赛题分析和任务解读 阅读详情

代码实操地址:https://www.kaggle.com/finlay/deepfake-ffdi-ch3

  • 数据增强基础

数据增强是一种在机器学习和深度学习领域常用的技术,尤其是在处理图像和视频数据时。数据增强的目的是通过人工方式增加训练数据的多样性,从而提高模型的泛化能力,使其能够在未见过的数据上表现得更好。数据增强涉及对原始数据进行一系列的变换操作,生成新的训练样本。这些变换模拟了真实世界中的变化,对于图像而言,数据增强包括例如视角、光照、遮挡等情况,使得模型能够学习到更加鲁棒的特征表示。
比如notebook里面的随机水平翻转变换,对小猫图片做了8次随机水平翻转变换,6次不翻转,2次翻转。每次运行,都会得到不一样的结果。

但是要注意的是,变换操作需要与目标任务的实际场景符合。比如使用AutoAugment()函数,得到的第二张、第七张,一般场景是见不到这种小猫的。

train_loader = torch.utils.data.DataLoader(
    FFDIDataset(train_label['path'].head(1000), train_label['target'].head(1000), 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.RandomHorizontalFlip(),
                        transforms.RandomVerticalFlip(),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=True, num_workers=4, pin_memory=True
)

val_loader = torch.utils.data.DataLoader(
    FFDIDataset(val_label['path'].head(1000), val_label['target'].head(1000), 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=False, num_workers=4, pin_memory=True
)

train_loader就是加载预处理过的训练集图像数据,预处理过程包括Resize统一大小,随机水平、竖直翻转,之后转换成张量并进行归一化。在深度学习中,对输入数据进行归一化是一个标准步骤。归一化有助于加快模型的收敛速度,并提高数值稳定性。对于验证集,应该避免使用如随机翻转等可能引入不必要噪音的增强方法。通常,验证集只需要进行必要的预处理,如调整大小和归一化。所以val_loader里面没有水平、竖直翻转的操作。

  • 常见数据增强方法

torchvision是一个流行的开源Python包,官方文档比较详细:https://pytorch.org/vision/main/index.html

在这个包中,数据增强方法主要位于torchvision.transforms和torchvision.transforms.v2模块中。包括几何变换、颜色变换、自动增强等操作,具体可以看他的包介绍,并配合notebook实操。

进阶数据增强方法

Mixup

MixUp的混合过程包括以下步骤:

  1. 从训练集中随机选择两个图像和它们的标签。

  2. 将这两个图像按照alpha的比例混合,得到一个新的图像。

  3. 将这两个标签按照相同的alpha比例混合,得到一个新的标签。

MixUp方法具有以下几个优点:

  1. 增加数据多样性:通过混合不同的图像和标签,MixUp可以创建更多样化的训练样本,帮助模型学习到更加鲁棒的特征表示。

  2. 减少过拟合:MixUp可以减少模型对特定训练样本的依赖,从而降低过拟合的风险。

  3. 提高泛化能力:MixUp可以帮助模型学习到更加泛化的特征表示,从而提高模型在未见过的数据上的表现。

Cutmix

CutMix方法中,剪切和粘贴操作是关键步骤。具体来说,剪切和粘贴过程包括以下步骤:

  1. 从训练集中随机选择两个图像和它们的标签。

  2. 随机选择一个剪切区域的大小和位置。

  3. 将第一个图像的剪切区域粘贴到第二个图像上,得到一个新的图像。

  4. 根据剪切区域的大小,计算两个图像的标签的加权平均值,得到一个新的标签。

How to use CutMix and MixUp — Torchvision 0.18 documentation

两种技术的示例可以参考以上链接

本笔记参考资料:‍​​⁠‍​​​‬​‬‬​​​​​​‍​​​​​​‬‍‍​​​​‌​‬​​​‬​‬⁠‬Task3:数据增强,提升模型表现 - 飞书云文档 (feishu.cn)

Datawhale AI 夏令营2024·第二期(Deepfake攻防挑战赛-图像赛道)Task02 阅读详情

相关推荐

服务器被攻击植入挖矿病毒,CPU占用高问题排查处理(.systemd-service.sh)

客户服务器遭攻击,部署的应用服务经常性被停止,服务器CPU占用居高不下,top查看如下: 可以看到第一个bash任务,占用cpu近400%,非正常的应用程序和脚本任务,多半是被植入了木马信息。 查看该进程的符号连接,发现已经是被删除的状态 /usr/bin/-bash (deleted),无法查看其启动程序的信息 查看定时任务:cat /etc/crontab,发现都是正常的应用程序定时脚本 又用 crontab -l 查看了一下,发现了异常定时任务如下,同top里的异常任务一致...

gottst0113的博客 2118

【Datawhale夏令营】第二期 Deepfake Task1学习总结

使用。

drawbacks的博客 822

【WorkBuddy】WorkBuddy 智能体快速上手:从零到一的实践指南

文章摘要: 传统自动化脚本难以应对灵活多变的自然语言需求,导致逻辑复杂、维护成本高。智能体(Agent)通过理解语义意图、动态决策和松耦合组件解决了这些问题。WorkBuddy采用声明式配置,通过可视化界面定义意图、实体和对话策略,无需编码即可快速构建智能体。其核心组件包括意图分类、实体提取、对话策略、故事样本和回退机制,适用于客服支持、知识问答等高频场景。通过环境准备(Python/Node.js/Redis)和简单配置,用户可以快速搭建可运行的智能体,显著提升自动化效率。

ruiqideng的博客 1603

全球Deepfake攻防挑战赛(图像赛道)DataWhale AI夏令营 Task1 学习笔记

Deepfake技术是一种利用人工智能和机器学习算法创建高度逼真的合成音频、视频或图像内容的技术。其核心是使用深度学习,特别是生成对抗网络(GANs)、扩散模型(Stable Diffusion),来模仿和生成与真实数据几乎无法区分的虚假内容。生成对抗网络(GANs):deepfake通常使用生成对抗网络。GANs包括两个部分:生成器和判别器。生成器负责创建虚假的图像或视频,而判别器则评估这些内容的真实性。两者在训练过程中相互竞争,生成器不断改进其输出,使得生成的内容越来越逼真。人脸交换。

weixin_46470694的博客 1806

嵌入式开发:用状态机实现STM32按键消抖,告别阻塞延时

在嵌入式系统开发中,处理异步事件和实时响应是核心挑战。状态机作为一种强大的编程模型,通过定义有限的状态、事件和状态转换规则,将复杂的、非线性的控制逻辑转化为清晰、确定且易于维护的代码结构。其技术价值在于实现逻辑的模块化、异步化和非阻塞化,能显著提升代码的可读性、可扩展性和系统实时性。这一思想广泛应用于协议解析、用户界面交互、传感器数据处理等场景。本文以嵌入式开发中基础的按键处理为例,针对传统“延时消抖”方法会阻塞主循环、影响实时性的痛点,深入讲解如何运用状态机思维重构按键消抖逻辑。通过分析状态机的核心三要素

weixin_33377602的博客 339

LaTeX公式转Word竟这么简单?Python三行代码实现学术论文格式无忧

本文介绍如何利用Python的latex2word库,仅需三行代码即可将LaTeX数学公式精准转换为Word原生Office Math对象,解决学术写作中LaTeX与Word格式割裂的难题。该方法支持批量处理、格式保真,并能与Markdown、Jupyter Notebook等工具集成,构建自动化写作流程,实现学术论文格式无忧。

qsc90123456的博客 295

“Datawhale X 魔搭” AI夏令营第四期:AIGC方向——Task2&Task3

AIGC(AI-Generated Content)是指基于生成对抗网络、大型预训练模型等人工智能的技术方法,通过已有数据的学习和识别,以适当的泛化能力生成相关内容的技术。例如,通过输入关键词、描述或样本,AIGC可以生成与之相匹配的文章、图像、音频等。Deepfake是一种使用人工智能技术生成的伪造媒体,特别是视频和音频,它们看起来或听起来非常真实,但实际上是由计算机生成的。这种技术通常涉及到深度学习算法,特别是生成对抗网络(GANs),它们能够学习真实数据的特征,并生成新的、逼真的数据。

Yixuanxia的博客 2304

OmniQuant:全方位校准实现大语言模型高效量化与移动端部署

模型量化是一种通过降低模型权重和激活值的数值精度来压缩模型大小、减少内存占用和计算开销的核心技术。其原理在于将高精度浮点数映射到低精度整数表示,从而在保持模型性能的同时,显著提升存储和计算效率。这项技术的价值在于,它使得大规模语言模型能够在消费级硬件和资源受限的移动设备上运行,极大地拓宽了AI应用场景。OmniQuant作为一项前沿的量化技术,通过引入可学习权重裁剪和可学习等价变换机制,实现了对权重分布不均匀和激活值异常值问题的协同优化,从而在极低的比特数下仍能保持优异的模型性能。本文深入探讨了OmniQu

weixin_30719711的博客 482

Datawhale AI 夏令营-Task1

Datawhale AI 夏令营-Task1

2301_80115375的博客 2447

告别ZotFile!Zotero 7+百度网盘文献同步全攻略(含软链接避坑指南)

本文针对Zotero 7用户,提供了告别ZotFile插件后,利用百度网盘实现文献附件同步的完整解决方案。详细讲解了如何通过设置Zotero链接目录与创建软链接,将附件库迁移至云盘,并附有详细的避坑指南,确保数据安全与多设备同步的稳定性。

mmm90的博客 586

告别官方WebRTC的30G编译:我用libdatachannel给USB摄像头做了个轻量级网页监控

本文介绍了一种基于libdatachannel的轻量级WebRTC监控方案,通过USB摄像头实现实时视频推流。相比官方WebRTC库30GB的庞大编译体积,libdatachannel仅需几十MB,大幅简化了开发流程。文章详细讲解了从视频采集、FFmpeg编码到WebRTC传输的全过程,并提供了性能优化和部署方案,帮助开发者快速构建高效的网页监控系统。

weixin_29207533的博客 533

DataWhale—AI夏令营—CV图像方向 DeepFake Task3

Deepfake是一种使用人工智能技术生成的伪造媒体,特别是视频和音频,它们看起来或听起来非常真实,但实际上是由计算机生成的。这种技术通常涉及到深度学习算法,特别是生成对抗网络(GANs),它们能够学习真实数据的特征,并生成新的、逼真的数据。Deepfake技术虽然在多个领域展现出其创新潜力,但其滥用也带来了一系列严重的危害。在政治领域,Deepfake可能被用来制造假新闻或操纵舆论,影响选举结果和政治稳定。经济上,它可能破坏企业形象,引发市场恐慌,甚至操纵股市。

ARbing_an的博客 1048

按照CANoe模板制作seed&&key.dll

在canoe进行诊断测试的时候,在0x27服务中需要制作一个dll文件。可在canoe的诊断中进行加载,也可用于diva的自动化测试。 本文按照canoe提供的KeyGenDll_GenerateKeyEx模板制作。 KEYGENALGO_API VKeyGenResultEx GenerateKeyEx( const unsigned char* iSeedArray, /* Array for the seed [in] */ unsigned int

天赐好车的博客 6520

Datawhale AI 夏令营——Deepfake_task1

本次挑战是为了应对各种类型的Deepfake攻击,而设计的一个检测模型,task1的任务就是跑通预设模型。我将学习预设模型的代码,并附上对应理解。首先先设置三个类,前两个用于监控和报告训练过程中的指标的实用工具。后者用于处理和加载深度伪造检测(DeepFake Detection,简称DFD或FFDI)任务的数据集。随后再设置validatepredict和train三个函数,用于模型的验证、预测和训练。validate。

junk_66的博客 1827

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Datawhale AI 夏令营——Deepfake_task3

这次夏令营恰逢在上班,所以没能抽出很多时间学习。这次task2里面还稍微学习了预训练模型ResNet-18,也了解了一些其他模型,诸如VGG、ViT等可用于图像分类、特征提取、迁移学习的模型,未来要是有时间便把学习一下这些模型,再去做个笔记,但是现在不行,因为现在要紧急下班。

junk_66的博客 2438

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Datawhale AI 夏令营-Task2

根据任务需求,定义适当的损失函数来衡量预测结果与真实结果之间的差异。在deepfake中,损失函数可以包括像素级对比损失、结构相似性损失、感知损失等。

2301_80115375的博客 1765

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【Datawhale夏令营】第二期 Deepfake Task2学习总结

在Task2中,对深度学习的概念和一般步骤有了一定了解。

drawbacks的博客 627

DataWhale夏令营第二期-CV方向Task1笔记

在Stable-Diffusion、Sora已经广泛进入我们现实生活的当下,我们总能够看到一些AI生成的图像、视频,这些图像视频可能是栩栩如生也可能是错漏百出,但是我们不可否认的是现在的深度学习算法已经一步一步地通过学习真实数据的特征去试图生成新的、逼真的数据。在未来,可能我们根本无法去分辨出一张图像是真实拍摄的还是由AI绘制生成的,这也就是DeepFake的概念。

qq_51050990的博客 843

Datawhale AI 夏令营——CV图像竞赛(Deepfake攻防)——Task1学习笔记

参赛者需要开发和优化检测模型,以应对多样化的Deepfake生成技术和复杂的应用场景,从而提升Deepfake图像检测的准确性和鲁棒性。这个文件的每一行包含两个部分,分别是图片文件名和模型预测的Deepfake评分(即样本属于Deepfake图像的概率值)上面的第六板块中的 RandomHorizontalFlip() 等函数用于数据变换,只在训练集上进行,而验证集不进行,open()打开了一张测试集里面的图片,是一张大帅哥,用于测试的,这里我就不再展示。获取模型预测的第二个类别的概率。

m0_63566347的博客 1408

Datawhale AI 夏令营-Task 1打卡

在深度学习中,模型训练通常需要进行多次迭代,而不是单次完成。深度学习模型的训练本质上是一个优化问题,目标是最小化损失函数。梯度下降算法通过计算损失函数相对于模型参数的梯度来更新参数。由于每次参数更新只能基于一个数据批次来计算梯度,因此需要多次迭代,每次处理一个新的数据批次,以确保模型在整个数据集上都能得到优化。设置训练模式:通过调用将模型设置为训练模式。在训练模式下,模型的某些层(如BatchNorm和Dropout)会按照它们在训练期间应有的方式运行。遍历数据加载器:使用遍历提供的数据批次。input。

2302_77608969的博客 988

Datawhale AI 夏令营:了解Deepfake & 初探baseline-Task1

Deepfake是一种使用人工智能技术生成的伪造媒体,特别是视频和音频,它们看起来或听起来非常真实,但实际上是由计算机生成的。这种技术通常涉及到深度学习算法,特别是生成对抗网络(GANs),它们能够学习真实数据的特征,并生成新的、逼真的数据。Deepfake技术虽然在多个领域展现出其创新潜力,但其滥用也带来了一系列严重的危害。在政治领域,Deepfake可能被用来制造假新闻或操纵舆论,影响选举结果和政治稳定。经济上,它可能破坏企业形象,引发市场恐慌,甚至操纵股市。

2302_80309108的博客 1229

Datawhale AI 夏令营——结营总结

第二期的Datawhale AI 夏令营的机器学习方向与 CV 图像方向完美结束。我很荣幸地成为两个营的优秀学习者。目前的机器学习 Task3 笔记与 CV 的 Task1 笔记被评为优秀笔记。Datawhale是一个专注于数据科学与AI领域的开源组织,汇集了众多领域院校和知名企业的优秀学习者,聚合了一群有开源精神和探索精神的团队成员。

m0_63566347的博客 854

【Datawhale AI夏令营】DeepFake多模态检测

Deepfake多模态检测Task2笔记

宁愿过拟合不要欠拟合 968

【Datawhale AI 夏令营】CV图像 Task 1记录

比赛任务是判断一张人脸图像是否为Deepfake图像,并输出其为Deepfake图像的概率评分。参赛者需要开发和优化检测模型,以应对多样化的Deepfake生成技术和复杂的应用场景,从而提升Deepfake图像检测的准确性和鲁棒性。

qq_44900224的博客 1542

Datawhale AI夏令营Deepfake-FFDV-图像赛题task02

Deepfake是一种利用深度学习技术生成逼真假视频的技术。可用于娱乐、教育等领域,但也存在被滥用的风险。可能被用于制造假新闻、误导公众等。

weixin_42112760的博客 1190

Datawhale AI 夏令营 task1走进Deepfake

在当今数字化时代,人工智能(AI)正以前所未有的速度和规模改变着我们的世界。其中,一项特别引人注目的技术就是深度伪造(Deepfake)。这不仅是一项前沿技术,更是一种强大的工具,它能够以惊人的真实感生成或操纵音视频内容。

2301_79707153的博客 645
上一篇: 【Datawhale夏令营】第二期 Deepfake Task2学习总结
下一篇: 【Datawhale夏令营】第二期 Deepfake Task1学习总结
drawbacks
博客等级 码龄7年 75粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值