9102年入门GAN的补习

图像生成 - 使用BigGAN在Imagenet数据集上生成高质量图像。 然后,我们使用BigGAN模型生成高质量和真实感的图像,并使用Matplotlib库将输出图像显示出来。最近,Google提出的BigGAN方法在图像生成任务上取得了巨大的成功,可以生成高分辨率和高质量的图像。然后,我们使用torchvision.datasets.ImageFolder类加载Imagenet数据集中的图像,并对每个图像进行预处理,并将它们保存在一个列表中。这些生成的图像与Imagenet数据集中的真实图像非常相似,证明了BigGAN在图像生成任务上的出色性能。BigGAN图像生成。 阅读详情

“ 本文主要介绍了近年来GAN(生成对抗网络)在分布差异度量,IPM与正则化,对偶学习,条件与控制,提高分辨率,评价指标等问题上的发展情况和代表性工作,希望对之前没有跟进 GAN 相关工作的同学有所帮助~”

作者:纵横

来源:知乎专栏 机器不学习

编辑:happyGirl

最近,笔者在导师的指导下,进行了一些 GAN + GCN/video 的研究。不得不说,GAN 已经火了这么长时间,在图卷积和视频分析等交叉领域、应用领域中仍然有着很强的生命力。在1+1=2的时候需要解决的问题也不少。笔者在研究过程中首先尝试了一些基础模型,并选取了其中具有代表性的进行了记录。后续有时间会继续记录 GAN + GCN / GAN + video 和自己正在实现的 pytorch gan zoo。

9102年,万物皆可 embedding 的目标已经基本实现,表示学习受到广泛重视,生成学习如火如荼。笔者在最近的研究中,发现交叉领域1+1=2的粘合工作已经所剩无几了。但是,1+1=2之后仍面临着一些任务特点相关的小问题,为了解决笔者所在领域的小问题,笔者总结并复现了经典的 GAN 网络,希望对之前没有跟进 GAN 相关工作的同学有所帮助~

导视

很多现有的机器学习任务可以归结为 domain transform,将数据从源域转换到目标域,例如根据文字生成图像、根据前一帧生成后一帧、将一种风格转换为另一种风格等等。现有的神经网络 module已经能够帮助我们将源数据映射为任意目标 size,而 MSE、MAE、Huber Loss 等传统 损失函数,也能够度量生成样本与目标域样本之间的差异。

但是,用这种方式构建的模型(例如 Auto Encoder)在 BP 后,往往 不那么令人满意 。

在研究过程中,一些工作发现,这些 传统的损失函数 在指导 NN 更新的过程中 只能粗略地 根据所有像素的 平均误差计算梯度,导致了很多边缘分布、 局部的差异 没有被学到。

图一:MSE 的局限性

如上图所示,两张生成图像在原图的基础上修改的像素数目相同,因此其 MSE 误差相同。然而根据常识,第二张图像明显不符合 0 的模式。一个好的损失函数,应当赋予第二张生成图像更大的 MSE。

在此基础上,GAN 网络提出了一种 可学习的损失函数 ,即判别器(Discriminator), 自适应地 度量两个 总体分布之间的差异,即连续的概率分布。(不同于 MSE、MAE、Huber Loss 等 固定的 损失函数,度量两个 样本之间的差异,即离散的概率分布)。

图二:不同于度量样本之间的差异,GAN 度量的是两个总体分布的差异

在推导过程中,大多工作根据“ 贝叶斯统计 ”的理论,最大化生成域和目标域的似然。

个人认为,一个真正有生命力的研究方向不一定有好的 performance,但至少 应该能够拆分成不同的子问题,分别开花结果。如果大家都在一个问题上,堆叠、魔改 module,那这个研究方向恐怕只能昙花一现。GAN 作为一个在 2019 年仍然蓬勃发展的 topic,其优化方向在 CV 中可以分为以下 6 类:

一、分布差异的度量

改进度量生成分布和目标分布差异,提高生成效果的精度和多样性

二、IPM与正则化

截断梯度、为梯度添加正则,提高 GAN 收敛的稳定性

三、对偶学习

利用循环一致性,添加源域与重构域的约束,充分利用数据

四、条件与控制

融合已知条件,控制生成过程和生成结果的特征

五、提高分辨率的努力

传统的 GAN 网络在生成大图时较为模糊,一些工作在提高生成图像的分辨率上进行了研究

六、评价指标

不同 GAN 生成效果的度量

一、分布差异的度量

在上文中,我们提到 GAN 的本质目标是使生成分布和目标分布尽可能相近。但是,应该如何衡量两者概率分布之间的差异呢?

GAN

图三:GAN 由生成器和判别器构成

Goodfellow 首次提出了极小极大博弈(minimax game),开启了 GAN 的篇章。GAN 需要同时训练两个模型,即一个能捕获数据分布的生成模型     ,和一个能估计数据是否为真实样本的判别模型   。生成器的训练目标是最大化判别器犯错误的概率,即通过优化生成分布,让判别器误以为生成的假样本为真。而判别器的训练目标是最小化自己犯错误的概率,即找出生成器生成的假样本,loss 可以表达为:

在实现过程中,GAN 的判别器和生成器往往是交替优化(或5:1)的,可以分别写出判别器和生成器的优化目标:

论文:arxiv (https://arxiv.org/abs/1406.2661)

代码:github (https://github.com/eriklindernoren/PyTorch-GAN/blob/master/implementations/gan/gan.py)

LSGAN

LSGAN 将生成样本和真是样本分别编码为     ,     ,并使用平方误差代替了 GAN 的逻辑损失 :

试验表明,LSGAN 能够部分解决 GAN 训练不稳定和生成图像质量差的问题。但是,平方误差对离群点的过度惩罚,可能会导致过度模仿真实样本,降低生成结果的多样性。

论文:arxiv
代码:[ github ](https://link.zhihu.com/?target=https%3A//github.com/LynnHo/DCGAN-LSGAN- WGAN-GP-DRAGAN-Pytorch/blob/master/v0/train_celeba_lsgan.py)

f-GAN

f-GAN 进一步扩展了 GAN 的损失函数 ,认为 GAN 所使用的 JS 散度和 LSGAN 所使用的卡方散度都属于散度的特例,还可以使用其他不同的距离或散度来衡量真实分布与生成分布 。在此基础上,f-GAN 设计一组根据不同散度计算得到的损失:

其中,     可以根据不同散度,替换为多种表达形式;由于    对判别器的值域有要求,判别器输出层的激活函数也需要替换:

图四:f-GAN的多种形式

论文:arxiv (https://arxiv.org/abs/1606.00709)

代码:github(https://github.com/shayneobrien/generative-models/blob/master/src/f_gan.py)

EBGAN

f-GAN 在散度视角集大成,EBGAN 则 将判别器视为一个能量函数,作为一个可训练的损失函数。该能量函数将靠近真实分布的区域视为低能量区域,远离真是分布的视为高能量区域。生成器会尽可能生成最小能量的伪造样本。在这种视角下,生成器的网络结构和损失函数更加灵活多变,EBGAN 提出 使用自动编码器结构,用重构误差代替分类器的分类结果 :

图五:EBGAN 的判别器采用自动编码器结构

即,    。在设计损失函数时,为了使能量模型更加稳定,作者 添加了一个边际值    :

论文:arxiv(https://arxiv.org/abs/1609.03126)

代码:github(https://github.com/eriklindernoren/PyTorch-GAN/blob/master/implementations/ebgan/ebgan.py)

二、IPM与正则化

很多时候,由于对抗学习,GAN 的收敛并不理想。IPM (积分概率度量) 将鉴别器的输出从概率转变为实数,并通过正则化将梯度限定在一定区间内,有效防止了判别器过早优化,导致生成器梯度消失的问题。

WGAN

WGAN 在分析 GAN 收敛不稳定的原因后认为,判别器训练的梯度很难把控是导致 GAN 收敛不稳定的罪魁祸首。判别器训练得太好,生成器的梯度消失,loss 难以下降;判别器训练的不好,生成器的梯度不准确,loss 四处乱跑。只有在零和游戏中把握判别器和生成器的平衡才行。

WGAN 作出了如下修改:

  1. 判别器的最后一层取消 sigmoid

2. 对判别器使用梯度裁剪,将梯度     取值限制在     区间内。

3. 使用 RMSProp 或 SGD 并以较低的学习率进行优化

损失函数可以表示成:

  的作用是将    的剧烈变化限制的更平缓一点,可以表示为:

在实现上就是将梯度     取值限制在     区间内。

论文:arxiv(https://arxiv.org/abs/1701.07875) 代码:github(https://github.com/Zeleni9/pytorch-wgan/blob/master/models/wgan_clipping.py)

WGAN-GP

WGAN 提出不久后,WGAN 的作者又对 WGAN 进行了优化,将梯度裁剪(weight clipping)替换为梯度惩罚(gradient penalty),提出带有梯度惩罚的 WGAN-gp。

论文:arxiv(https://arxiv.org/abs/1704.00028)
代码:github(https://github.com/caogang/wgan-gp/blob/master/gan_cifar10.py)

BEGAN

BEGAN 进一步结合了 WGAN 和 EBGAN 的思路。一方面,BEGAN 使用自动编码器和重构误差度量生成样本与真实样本的差异:

图六:BEGAN 的判别器也采用自动编码器结构

另一方面,BEGAN 训练了一个超参数,用于平衡判别器和生成器的优化速度:

论文:arxiv(https://arxiv.org/abs/1703.10717) 代码:github(https://github.com/shayneobrien/generative-models/blob/master/src/be_gan.py)

三、对偶学习

一些工作通过对偶学习,将 GAN 的生成-识别过程,扩展为生成-识别和重建-识别的过程,更充分地利用了源域和目标域的信息。DaulGAN、CycleGAN 和 DiscoGAN 的网络结构大同小异,但是 motivation 的差异很有趣:

DaulGAN

DaulGAN 提出将源分布转换为目标分布,与将目标分布转换回源分布,是一个对偶问题,可以协同优化。

图七:DaulGAN 的网络结构

CycleGAN

CycleGAN 提出了循环一致性(Cycle-Consistent)原则,其基本思想是图像经过映射变为另一类图像后,应该能通过逆映射变换回原来的图像。

图八:CycleGAN 的网络结构

论文:arxiv(https://arxiv.org/abs/1703.10593)
代码:github(https://github.com/aitorzip/PyTorch-CycleGAN/blob/master/models.py)

DiscoGAN

为了学习不同域之间的映射,DiscoGAN 首先想到了添加了第二个生成器,和重构损失项来比较真实图像和重构图像。

图九:DiscoGAN 的单映射网络

然而,这样设计出的模型是单方向映射的,无法同时学习如何从目标域映射回源域。此外,由于 MSE 对离群点的过度惩罚也会使模型存在模式崩塌问题,只会在源图上做微小的修改。因此,作者进一步提出了双向映射的 DiscoGAN:

图十:DiscoGAN 的双映射网络

论文:arxiv(https://arxiv.org/abs/1703.05192) 代码:github(https://github.com/carpedm20/DiscoGAN-pytorch/blob/master/models.py)

四、条件与控制

GAN 的生成样本不可控,ConditionalGAN 通过添加先验/条件,指导生成样本的过程,从而控制生成的样本满足某些特征。

cGAN

通过 GAN 可以生成与目标分布相近的分布,例如生成 0 到 9 的数字等。但是,我们无法干预传统 GAN 生成分布的过程,譬如指定生成数字 1 等。因此,cGAN 将 GAN 中的概率分布改成了条件概率:

具体而言,就是在生成器和鉴别器的输入中,都拼接已知的条件向量:

图十一:cGAN 的网络结构

图中,     代表从正态分布中采样的噪声;    代表真实分布中采样的样本,    代表条件向量,例如样本标签的 one hot 编码。在判别器判别生成样本时,会根据条件判别,从而迫使生成器参考条件向量生成样本。

论文:arxiv(https://arxiv.org/abs/1411.1784)
代码:github(https://github.com/eriklindernoren/PyTorch-GAN/blob/master/implementations/cgan/cgan.py)

IcGAN

最初,cGAN 只将样本标签的 one hot 编码作为输入,在标签级控制生成样本。如何更细力度的更改生成样本的某些特征呢?IcGAN 通过编码器学习了原图到其特征向量的映射,今儿通过修改特征向量的部分特征作为生成器的输入生成希望生成的特征:

图十二:IcGAN 的网络结构

ACGAN

ACGAN 没有选择将条件(样本的类别)直接输入判别器,而是训练判别器对样本进行分类,即判别器不仅需要判断每个样本的真假,还需要预测已知条件(样本的类别,添加一个分类的损失)。

图十三:ACGAN 的网络结构

ACGAN 的一个好处是,判别器输出条件的设计使我们可以采用在其他数据集上预训练的模型进行前一学习,从而生成更清晰的图像减轻模式崩塌的问题。此外,如上图所示,还有其他类似的设计为 GAN 添加先验分布,例如 SemiGAN 和 InfoGAN 等,但大同小异。

论文:arxiv(https://arxiv.org/abs/1610.09585) 代码:github(https://github.com/eriklindernoren/PyTorch-GAN/blob/master/implementations/acgan/acgan.py)

五、提高分辨率的努力

在最初的工作中,受到正态分布采样的 noise 尺寸的限制,GAN 还只能生成 32x32 的低分辨率的图像。一些工作针对如何生成高分辨率图像进行了研究。

DCGAN

DCGAN 首次将 CNN 引入 GAN(此前 GAN 大多由全连接层构成),并提出了一个能够稳定收敛的 CNN + GAN 结构。很多 trick 为后面的研究提供了基础:

图十四:DCGAN 的生成器
  1. 下采样使用带有步长的卷积,而不是池化

2. 上采样使用反卷积,而不是插值

3. 判别器的激活函数使用 Leaky ReLU

4. 使用 BatchNorm 层(注:在 WGAN 不适用)

5. 生成器与判别器对偶等等

论文:arxiv(https://arxiv.org/abs/1511.06434) 代码:github(https://github.com/eriklindernoren/PyTorch-GAN/blob/master/implementations/dcgan/dcgan.py)

SAGAN

随着研究的深入,一些 CV 中常用的与 CNN 结合的 module 逐渐被引入。SAGCN 提出在生成器和判别器中引入 Self Attention 模块,获取距离较远的相关区域的信息,提升了生成图像的清晰度。

图十五:Self Attention 结构

在原文实现中,Self Attention 只需要加在生成器和判别器的最后两层。

论文:arxiv(https://arxiv.org/abs/1805.08318) 代码:github(https://github.com/heykeetae/Self-Attention-GAN/blob/master/sagan_models.py)

BigGAN

随着可用的 module 逐渐增加,网络参数量的军备竞赛也逐渐展开。BigGAN 作为 GAN 发展史上的里程碑,在精度上(128x128 分辨率)实现了跨越式的提升。虽然其模型规模较大,很难在本地复现,但是BigGAN 使用的 Self Attention、Res Block、大 channel/batch、梯度阶段技巧等为后续的研究提供了借鉴。

图十六:BigGAN 结构

论文:arxiv(https://arxiv.org/abs/1809.11096) 代码:github(https://github.com/ajbrock/BigGAN-PyTorch/blob/master/BigGANdeep.py)

LAPGAN

LAPGAN 结合 CGAN 将迭代和层次化的思想运用到了图像生成中。LAPGAN 认为与其一下子生成大分辨率的图像,先生成低分辨率的图像。在向上采样,提高分辨率的过程中,让生成器每次生成缺少的细节信息,即“残差”图片,与上采样后的图片做加法,得到更高分辨率的图像:

图十七:LAPGAN 的推理过程

在训练过程中,LAPGAN 在每个分辨率下,以下采样后的图像为先验条件,学习下采样再上采样后与原图的信息损失,即残差的生成:

图十七:LAPGAN 的训练过程

论文:arxiv(https://arxiv.org/abs/1506.05751)

代码:github (https://github.com/AaronYALai/Generative_Adversarial_Networks_PyTorch/blob/master/LAPGAN/LAPGAN.py)

六、评价指标

生成器的 loss 可以衡量生成的图片能骗过判别起的性能,但是无法度量生成图像的准确性和多样性。因此,除了主观性的评估外,近年的工作中也出现了 IS、FIP 等客观评价指标(类似 PSNR 评估图像质量)对生成图像的准确性和多样性进行评估(有些同学问这些评估指标能否作为 loss:这些指标只反映了生成数据的某些统计特征,做 loss 是无法指导 GAN 优化的)。

IS

Inception Score 作为早期的评价指标,提出 GAN 生成的结果可以由两个维度来衡量:即生成结果的准确性(可分性)和多样性:以生成图片为例,对于一张清晰的图片,它属于某一类的概率应该非常大,而属于其它类的概率应该较小(可以准确的被 Inception v3 分类)。同时,如果 GAN 能生成足够多样的图片,那么它生成的图片在各个类别中应当是均匀分布的(而不是只有某几种,即模式崩塌)。

值得注意的是,IS 越大,GAN 的效果越好。

代码:github(https://github.com/sbarratt/inception-score-pytorch/blob/master/inception_score.py)

FID

然而,IS 存在一个问题,真实图像并没有参与到生成图像的评估过程中。因此,FID 提出将生成图像与真实图像的进行的比较(在 Inception v3 的 feature map 层面),实现对生成图像准确性和多样性的评估。

值得注意的是,FID越小,GAN 的效果越好。

代码:github(https://github.com/mseitzer/pytorch-fid/blob/master/fid_score.py)

其他

FID 和 IS 都是基于特征提取的评估方法,feature map 有效地描述了某些特征是否出现,但是无法描述这些特征的空间关系。因而,近年来 GAN dissertation, on GAN and GMM 等文章对 GAN 的生成效果进行了进一步的分析。

一个比较有趣的结论是,目前大多数 GAN 的模型相较于原始的 GAN 模型并没有本质上的提升,只是收敛速度更快、收敛更稳定了。因此,在解决交叉领域的问题时,笔者一般先用常规的 WGAN-GP 进行测试,得到一个大致的 baseline,再决定是否继续深入研究下去,或者探究有哪些 task special 的问题。

尾注

看到一段很好的话,指导我们的科研工作(逃)与大家共勉~

层级结构并不意味着学科 X “仅仅是Y的应用”。每个新的层级都需要全新的定律、概念和归纳,并且和其前一个层级一样,研究过程需要大量的灵感和创意。心理学不是应用生物学,生物学也不是应用化学。

推荐阅读

想了解更多关于机器学习&深度学习的内容,欢迎关注公众号浅梦的学习笔记,回复“加群”可以一起参与讨论交流!

喜欢的话点个在看吧????

机器学习和深度学习检测网络安全课题资料:XSS、DNS和DGA、恶意URL、webshell 使用CNN检测DNS隧道探秘-基于机器学习的DNS隐蔽隧道检测方法与实现DNS Tunnel隧道隐蔽通信实验 && 尝试复现特征向量化思维方式检测DataCon 2019: 1st place solution of malicious DNS traffic & DGA analysisDataCon 9102: DNS AnalysisDatacon DNS攻击流量识别 内测笔记机器学习实践-DGA检测使用生成对抗网络(GAN)生成DGA使用fasttext进行DGA检测机器学习实践-DGA检测使用深度 阅读详情

相关推荐

网络安全课题以及学术方向总结

为适配(碎片化时间)移动端阅读与知识传播,后续持续更新内容,将同步在个人微信公众号:404 Not F0und,同时公众号提供了该项目的PDF版本,关注后回复"智能安全" 即可下载。公众号致力于分享原创高质量干货,包括但不限于:应用安全、机器智能、安全算法、安全数据分析、企业安全建设。知识分享的价值在于既能系统化梳理自己的研究和思考,又可能和他人思维碰撞,发生一些有意思的事情。

全网120W+关注AI拉呱,专注人工智能以及科技前沿! 841

pytorch指定gpu训练_四块GPU即可训练BigGAN:「官方版」PyTorch实现出炉

作为「史上最强 GAN 图像生成器」,BigGAN 自去年 9 月推出以来就成为了 AI 领域最热词。其生成图像的目标和背景都高度逼真、边界自然,简直可以说是在「创造新物种」。然而 BigGAN 训练时需要的超高算力(128-512 个谷歌 TPU v3 核心)却让很多想要参与制图狂欢的开发者望而却步。今日,BigGAN 论文的第一作者、来自英国 Heriot-Watt 大学的 Andrew Br...

weixin_39840153的博客 419

【人工智能】【GPU芯片】第一篇 GPU算子——璧韧篇01

GPU作为新兴的高性能计算加速平台,其软件栈设计遵循分层抽象、领域优化、异构融合三大原则。算子类别典型算子名称数学方程式/计算描述应用场景优势劣势标量运算​基础算术运算极低延迟,全流水线吞吐量低于向量指令线性代数核心计算单周期融合乘加,高精度需要特定硬件支持向量运算​图像处理、SIMD并行4倍吞吐提升数据需对齐内存点积计算,神经网络专用硬件加速仅支持固定长度矩阵运算​ A/B: f16 4x4矩阵 C/D: f32 4x4矩阵深度学习训练推理高能效矩阵计算编程模型复杂warp级矩阵运算张量核心编

weixin_49199313的博客 1008

【全网独家】AIGC 最佳实践:BigGAN - 高分辨率图像生成

AIGC 最佳实践:BigGAN - 高分辨率图像生成 介绍 BigGAN 是由 Google Brain 团队开发的生成对抗网络(GAN),用于生成高分辨率图像。BigGAN 在研究和实际应用中表现突出,以其高质量的输出和强大的生成能力而闻名。 应用使用场景 图像生成与艺术创作:艺术家和设计师可以利用 BigGAN 创...

weixin_40226342的博客 644

【人工智能】【GPU芯片】第一篇 GPU算子——璧韧篇-02

璧韧GPU采用BR-Vision 3.0视觉处理架构,集成专用图像处理单元、计算机视觉加速器、神经网络视觉处理流水线。本列表包含2,048个图像与视觉算子,涵盖8种图像格式、12种颜色空间、16种滤波算法、24种特征检测方法。指令编码指令名称功能描述图像格式颜色空间内存分配应用场景BR_IMG_0001创建RGBA 8位图像RGBA8RGBA设备内存通用图像处理BR_IMG_0002创建RGB 8位图像RGB8RGB设备内存无Alpha通道BR_IMG_0003创建灰度8位图像L8灰度设备内存单通道处理BR

weixin_49199313的博客 849

BigGAN-PyTorch:作者正式的非官方PyTorch BigGAN实施

BigGAN-PyTorch 作者的正式非官方PyTorch BigGAN实现。 此仓库包含由Andrew Brock,Jeff Donahue和Karen Simonyan的训练中的BigGAN的4-8 GPU训练代码。 这段代码是由Andy Brock和Alex Andonian编写的。 如何使用此代码 你会需要: 版本1.0.1 tqdm,numpy,scipy和h5py ImageNet培训集 首先,您可以选择为目标数据集准备经过预处理的HDF5版本,以实现更快的I / O。 遵循此步骤(或不执行此操作),您将需要计算FID所需的Inception时刻。 这些都可以通过修改

BigGAN_用于高保真自然图像合成的大规模 GAN 训练

【飞桨】【Paddlepaddle】【论文复现】BigGAN用于高保真自然图像合成的大规模 GAN 训练LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS1、BiagGAN的贡献2.1背景2.2具体措施与改变2.2.1规模(scaling up)2.2.2截断技巧(Truncation)3、不稳定性分析4、结论Reference: 用于高保真自然图像合成的大规模 GAN 训练 LARGE SCALE GAN TRAINING

weixin_41344983的博客 2643

Python-BigGAN的PyTorch实现

Pytorch实现高保真自然图像合成的大规模GAN训练(BigGAN)'

入门GAN的补习

本文主要介绍了近年来GAN(生成对抗网络)在分布差异度量,IPM与正则化,对偶学习,条件与控制,提高分辨率,评价指标等问题上的发展情况和代表性工作,希望对之前没有跟进 GAN 相关工作...

fengdu78的博客 371

基于开源项目构建 CFS(网络靶场实战演练)平台

摘要:构建CFS网络靶场可使用多个开源组件组合,包括EVE-NG/GNS3或ContainerLab构建网络环境,Kasm提供工作空间,CALDERA+Atomic Red Team实现攻击模拟,DetectionLab建立防御环境,Malcolm/Arkime进行流量监控,CyRIS提供编排框架,Vulhub/DVWA创建漏洞靶标。关键在于通过API深度集成各组件,同时需注重安全隔离、资源规划及维护成本。建议开发统一管理平台,结合Ansible/Terraform实现自动化部署,打造定制化实战演练环境。(

深山技术宅的博客 1854

Wezterm的安装和简单配置

希望 wezterm 的主题配色,保持和 powershell 默认配色一致,也就是 Compell 主题。目的是在频繁使用 wezterm 时,原本的根据颜色判断文件信息(尤其是WSL里的Linux下,文件和目录颜色)依然可以使用。wezterm 默认用 cmd.exe, 我是 win11,希望默认用 powershell。

baiyu33的博客 4286

入门生成对抗网络的补习

“本文主要介绍了近年来GAN(生成对抗网络)在分布差异度量,IPM与正则化,对偶学习,条件与控制,提高分辨率,评价指标等问题上的发展情况和代表性工作,希望对之前没有跟进 GAN 相关工...

weixin_40920183的博客 640

【学习笔记】人群归因分数 PAF 以及combined PAF(更新)

在此推荐2篇发表在lancet以及jama子刊上的paf文章,这两篇文章套路是一样的,只是在不同国家进行。希望对大家学习PAF有所帮助,后面有新内容也会继续分享,也欢迎大家分享使用R语言计算PAF的经验~~~的时候,先建立了相关矩阵,再做主成分分析,得到communality。详细信息大家可翻阅原文。

weixin_53499537的博客 1498

在网络安全方面,人工智能是如何发挥作用的?

全民AI的时代,很多学科都开始和人工智能挂钩了,网络安全自然也不例外。最近几年,人工智能是热度很高的一个话题。AlphaGo的横空出世,以及紧接着其与的世纪人机大战,可以说是人工智能在公众视野中的最后一个引爆点。自此之后,越来越多的人工智能产品开始出现在公众视野中,可谓是眼花缭乱,给人的感觉是人工智能遍地开花。近些年来,基于人工智能的产品更是推陈出新,遍地都是。包括围棋和象棋等在内的各个棋牌类竞技游戏相继被人工智能攻破;微软搜索开始推出了自己的人工智能产品小冰;

jennycisp的博客 541

程序化广告行业(23/89):深度剖析广告效果评估指标

大家好,我一直希望能和大家一起在技术领域不断探索、共同进步。在之前的文章中,我们了解了程序化广告中腾讯的业务布局和广告效果评估的基础概念,今天让我们进一步深入剖析广告效果评估的各项指标,这对理解程序化广告的运作机制至关重要

yyy173611的博客 4866

手把手教 - VSCode 开发 GD32F450 单片机

系统版本:rt-thread v5.2.2单片机型号:GD32F450ZK基于文章进行开发。

weixin_46158019的博客 845

C2MAL: cascaded network-guided class-balanced multi-prototype auxiliary learning for source-free dom

中科院最新升级版分区表显示,该刊属于工程技术大类3区。25年发表的研究提出了一种无需源域数据的无监督源域自适应医学图像分割方法C2MAL。该方法通过两阶段框架解决医学图像分割中的关键挑战:伪标签噪声累积和类别极度不平衡。第一阶段(CTS-Net)利用翻译网络和分割网络的交替优化生成高质量伪标签;第二阶段(CMAL-Net)结合记忆网络和多原型机制,设计了类平衡校准损失和多原型对称交叉熵损失,有效缓解类别不平衡问题。实验在多个眼底图像数据集上验证了该方法的优越性,Dice分数提升显著,CDR筛查AUC达0.9

weixin_52201996的博客 1021

从零构建:ESP32S3无线DAP-Link调试器的硬件与软件协同设计

本文详细介绍了基于ESP32S3的无线DAP-Link调试器的硬件与软件协同设计,涵盖关键元器件选型、无线通信协议优化、双核任务处理及低功耗调试方案。通过ESP-NOW协议实现低延迟无线调试,结合USB协议栈与双核协同,为嵌入式开发提供高效灵活的调试解决方案。

gitlab7runner的博客 860

JS 常用方法合集

this.analyzeIDCard("110101199003077117") // { "sex": { "name": "男", "value": 1 }, "birthYear": 1990, "birthMonth": 3, "birthDay": 7, "birthDate": "1990-3-7", "age": 33。this.getFileNameSuffix("测试文件.txt", true, true) // .txt。this.valCheck("张三") // 张三。

UserGuan的博客 4290

【ArcPy】用Python批量处理大规模地理数据的几何校正

在许多GIS应用中,尤其是在大规模地理数据处理时,几何校正(Geometric Correction)是一个至关重要的任务。它确保了不同来源的地理数据能够正确地对齐和匹配,从而为后续分析提供准确的基础。几何校正的常见应用包括遥感影像的地理配准、矢量数据的投影转换等。几何校正通常包括坐标转换、重采样等步骤。以下示例展示了如何使用arcpy的工具进行几何校正。"""实施几何校正:param input_layer: 输入待校正数据层。

陈书予 1009

8.2 发展趋

分子泵技术正处在一个快速变革的时代,面对日益增长的应用需求和不断涌现的技术挑战,其发展呈现出多元化、智能化和高度集成化的趋势。这些发展趋势不仅代表着技术创新的方向,也预示着分子泵在未来工业体系中将要扮演的更加重要的角色。

技术工作者 118

深度学习系列43:引入注意力的SAGAN/BigGAN和big_sleep

sa_gan是Self-Attention Generative Adversarial Networks的缩写。 动机:一般的dc_gan(deep convolution)模型擅长处理含有大量纹理的类型,比如天空、风景等,但在结构上的表现比较差,比如不能正确生成人脸、四肢等。其原因是卷积核不足以覆盖较大的区域。因此,我们加入attention机制。 下图中的fgh类似注意力机制中的kqv convolution feature maps的尺寸为[C, W, H] f/g后的尺寸为[C/8, WH], h

kittyzc的博客 1837

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

GAN网络在训练的时候,如果生成器的loss在不断增加,判别器的loss在不断的减小,训练不成功应该怎么办?以下是我积累的一点的经验~

这是因为判别器太强了,无法给G有效的指导,所以需要适当降低D的网络能力: 1减小D的层数,但是减的太过了也会出现最后无法指导G的情况 2减小D的学习率 ...

qq_34612369的博客 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

如何训练GAN?能够让GAN work的方法和技巧

如何训练GAN?能够让GAN work的方法和技巧 尽管在生成对抗网络(GAN)中的研究继续改善了这些模型的基本稳定性,但我们使用了许多技巧来训练它们并使它们日复一日地稳定。(翻译自:https://github.com/soumith/ganhacks) 注:这是笔者的不完全翻译 如下是关于这些tricks的一个总结。 1.归一化输入 (1)将图片归一化到-1到1之间 (2)在生成器的最后一层中使用tanh 2.微调的损失函数 在原始GAN的论文中,损失函数是min (log 1-D),但

weixin_41709956的博客 1006

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

计算机视觉基础(3)

一些经典网络

qq_42980111的博客 372

【小白学习笔记】GAN之初体验

今天自己搭建了一个GAN,网络是自己随意搭建的,用的Pytorch框架。目的是输入一张图像,使其能够产生梵高风格的该图像。该项目来自于kaggle里的一个新手学习小项目。 整个过程中遇到过一些问题,比如: 1.对卷积的运算要准确,可以在网络的代码里的main()函数中写一个随机初始化数据来判断自己的计算是否有问题。 2.训练代码要先计算判别器的损失,再梯度下降。然后再计算生成器的。其中在训练的时候遇到了一个流程图的问题: Runtime...

Zk_ZhangK的博客 364
上一篇: (视频+源码)助力年后跳槽:对标阿里P8的大数据开发全套教程
下一篇: Spark背景知识学习
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值