作者:禅与计算机程序设计艺术
1.简介
随着深度学习技术的不断推进,图像处理领域也开始从单纯的卷积神经网络(CNN)向深度神经网络(DNN)迁移,越来越多的人开始关注CNN在图像处理中的作用及其局限性。近年来,CNN在图像风格转移、超分辨率、图像修复等领域取得了巨大的成功。然而,这些模型往往只能够输出高清且逼真的图像,并不具有理解或呈现全貌的能力。这时,基于梯度的模型所提供的视觉洞察力就显得尤为重要。在本文中,作者将介绍一种可解释性强的CNN模型——DeepDream,它能够通过对某些层的激活的变化进行观察并生成与原始图片具有相同风格的视觉效果。
2.相关工作介绍
Style Transfer and Neural Style Transfer (NST)
Style transfer 是指将一个画作的样式应用到另一张画上,使两幅画具有相似的色彩和风格。基于卷积神经网络(CNN)的 style transfer 方法有两种:
- 使用 Gram matrix 来计算风格损失
- 使用权重共享的 CNN 模型来自动学习风格损失
NST 的任务是,给定一组风格图片,生成一张新图片,其中图像的内容与输入图像保持一致,但具有特定的风格。传统的 NST 方法主要基于优化 L-BFGS 求解器,来最小化风格损失。
DeepDream
在2015年提出的 DeepDream 算法可以说是最具影响力的方法之一。它