深度学习实训周报_3

深度学习实训周报

1、Grad-CAM(Gradient-weighted Class Activation Mapping)

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

GAM

这次的任务 主要是跑代码和理解Grad CAM,通过训练和测试猫和狗的图片集,并且对这些图片进行辨别,可以分辨出哪些是猫哪些是狗。
如:
这里写图片描述这里写图片描述
这里写图片描述这里写图片描述

然后跑了一下Grad-CAM的代码,大概如下,然后查看照片,亦和上图一样。

这里写图片描述


还有另外一份关于Grad-CAM的github。

大致模型如下,

跑了代码之后,产生如下结果,
test.jpg
这里写图片描述
result.jpg

这里写图片描述
很清晰地划分出了人所在的部分。

2.对抗攻击和防守(Adversarial Attacks and Defenses)

初步了解

一副图片,经过识别之后,判定为Alps,但是经过一些噪点处理过后,却被判别器判定为Dog而且其精确度极高,这就是对抗攻击的一个简单的例子,同时也是对抗攻击实现的结果。
这里写图片描述

攻击方法(白盒攻击和黑盒攻击)

白盒攻击
攻击者能够获知机器学习所使用的算法,以及算法所使用的参数。攻击者在产生对抗性攻击数据的过程中能够与机器学习的系统有所交互。

黑盒攻击
攻击者并不知道机器学习所使用的算法和参数,但攻击者仍能与机器学习的系统有所交互,比如可以通过传入任意输入观察输出,判断输出。

这里写图片描述

防守方法(黑盒防守和白盒防守)

黑盒攻击防御策略:训练其他的分类器来检测对抗输入。

白盒攻击防御策略:实行对抗训练程序。

黑盒攻击防御策略不仅可以帮助防止过度拟合,让分类器的鲁棒性变强,还可以让你的模型加速收敛。但是根据最近的研究结果,这也不能消除所有对抗攻击带来的问题。而且,增加一个分类器也会大大降低分类效率,实现这两个分类器也要求你具备更多 GANs 的经验,因此这种解决方案都不是最优的。

### 深度学习周报最新进展概述 深度学习领域的发展日新月异,最新的研究动态通常集中在模型架构优化、训练效率提升以及跨学科应用等方面。以下是关于深度学习周报中的几个核心主题及其相关内容: #### 新兴框架与工具 近年来,多个新兴的深度学习框架不断涌现并得到广泛应用。例如,PyTorch Lightning 和 Hugging Face Transformers 提供了更高效的开发体验和预训练模型支持[^1]。这些工具不仅简化了复杂模型的设计过程,还显著提升了实验迭代的速度。 #### 关键论文进展 在自然语言处理 (NLP) 领域,《Scaling Laws for Neural Language Models》探讨了大规模参数量对性能的影响规律,并揭示了随着模型规模增加所带来的收益边界效应[^2]。而在计算机视觉方面,“Vision Transformer”系列文章展示了基于纯注意力机制构建图像分类器的可能性,挑战传统卷积神经网络的地位[^3]。 #### 技术趋势分析 联邦学习成为隐私保护场景下的热点方向之一;强化学习则继续向多智能体协作及真实世界机器人控制等领域深入探索 。此外 ,自监督 学习方法通过利用未标注数据来增强表示能力,在减少人工成本的同时提高了泛化效果 [^4]. ```python import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") inputs = tokenizer("Hello world!", return_tensors="pt") outputs = model(**inputs) print(outputs.logits) ``` 上述代码片段演示如何使用HuggingFace库加载BERT模型并对输入文本进行情感分类预测操作.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值