MNA-CNN: 如何在美学质量评估中储存照片原始信息

池化方法总结(Pooling) 在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。 为什么可以通过降低维度呢? 因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自然的想法就是对不同位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均值 阅读详情

传统基于深度学习的图片美学评估的要求输入是fixed-size,待评估的照片经常会经过裁剪、缩放和充填等变换,造成图片质量的下降。

那如何可以实现对原始图片尺寸进行美学质量评估呢?

0?wx_fmt=png

示例:由上图,可以看出对图片尺寸的更改,直观上对美学质量就有较大影响。

于是,作者提出了一个composition-preserving deep ConvNet method,可以对原图进行美学特征的提取,不损坏原图质量。

具体的方法就是在常规卷积层和池化层前面加入一个spatial pooling layer,以直接处理输入图片的原始大小和长宽比。

接下来,就具体描述下作者的方法。

Background

首先,作者使用了一个广泛使用的图片分类网络ImageNet,将网络的top layer进行调整使之适应于美学质量评估任务。即将softmax prediction layer变成具有sigmoid激活函数的单一线性单元。

0?wx_fmt=png

示例:深度学习网络结构

令fw表示为一个投影方程

0?wx_fmt=png

其中,QI表示为图片I的美学质量。

令fcl(I)表示为最后一层全连接层的输出,sigmoid激活函数利用了图片美学质量的先验概率

0?wx_fmt=png

将训练样本对S={In,ym}作为输入,其实yn为二进制(表示高质量与低质量)。令W表示为网络的连接权重集合,则可用stochastic gradient descend algorithm优化下式

0?wx_fmt=png

获得网络结构参数。

Composition-preserving Deep ConvNet

作者对上述网络结构进行了修改与调整,采用了adaptive spatial pooling (ASP)strategy来替代原本的fixed-size约束。


0?wx_fmt=png

示例:adaptive spatial pooling layer。ASP层在本地映像区域执行类似于传统池化层的运算(例如 max pooling)。但不同的是,ASP层代替了原本的输出维度,可相应地调整receptive field的大小。

接下来就是作者提出的Multi-Net Adaptive-Pooling ConvNet (MNA-CNN)的网络结构示意。

0?wx_fmt=png

示例:MNA-CNN包含多个子网络,每个子网络的最后一层池化输出都转变成ASP。每个子网络的输入均为同一幅图片,每个子网络的输出通过average operator可获得一个最终的总体预测输出值。

作者又对所提出的网络结构做了进一步的改进。

用一个aggregation layer取代MNA-CNN的average operator算子。将每个子网络的预测值和作为每幅图片的scene-categorization posteriors输入,输出最后的美学质量估值。

0?wx_fmt=png

示例:Scene-Aware Multi-Net Aggregation。将所提出的网络与scene-categorization deep network相结合。顶层的分类器以子网络预测和图像场景分类的后验概率作为特征向量,并产生最终的美学分类。

Experiments

作者将所设计网络应用于AVA数据集,实验效果则如下所示:

0?wx_fmt=png

0?wx_fmt=png

可以说是,美学质量评估效果还是很棒棒的。

接着,通过实验检验下ASP的有效性

0?wx_fmt=png

        以及Composition-preserving 有效性

0?wx_fmt=png

示例1

0?wx_fmt=png

示例2

综上,可以说作者提出的Composition-preserving网络在美学质量评估方面效果很是不错的。

原文链接:

[1] Mai, Long, Hailin Jin, and Feng Liu. "Composition-preserving deep photo aesthetics assessment. " Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

0?wx_fmt=png

0?wx_fmt=png

      

        随着摄影平台积累的数据和用户的手动标注信息越来越多,相关的公司和团队在这个研究上将具有绝对压倒性的优势。

        这里还是给自己的摄影分享公众号《言有三工作室》和摄影平台500px,图虫做个宣传。

        知乎专栏已经开通,欢迎来吐槽,投稿

https://zhuanlan.zhihu.com/c_146817036?group_id=923257138554384384

0?wx_fmt=jpeg

0?wx_fmt=jpeg

0?wx_fmt=jpeg


一文搞懂SPP(Spatial pyramid pooling) 1、简介 空间金字塔池化,使得任意大小的特征图都能够转换成固定大小的特征向量,这就是空间金字塔池化的意义(多尺度特征提取出固定大小的特征向量),送入全连接层。整体框架大致为:输入图像,卷积层提取特征,空间金字塔池化提取固定大小特征,全连接层。 具体的流程图如下:   2、具体算法的大体流程  输入图像,进行多尺度提取特征,融合特征,传入全连接层 3、关键步骤解释 阅读详情

相关推荐

深度学习研究理解7:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

本文是MSRA何恺明于13年撰写的论文,主要是把经典的Spatial Pyramid Pooling结构引入CNN中,从而使CNN可以处理任意size和scale的图片;这中方法不仅提升了分类的准确率,而且还非常适合Detection,比经典的RNN快速准确。 一:介绍 目前流行的CNN都需要固定size和scale的输入图片;所以基本上都是通过剪裁(crop)和wrap(这个不知道怎么翻译)

whiteinblue的专栏 2万+

图像的处理原理:CNN(卷积神经网络)的实现过程

了解一定的技术原理,对产品经理而言是有益处的。本文讲述的图像处理的基本思路,希望大家能够对当前图像处理技术有一定了解。 现在有个概念叫泛产品经理,这个概念本身是好的,核心说的是产品思维,但是在工作上我认为还是有一定误导性。产品经理在工作中要突出自己的核心价值与职业壁垒,如果无法构建良好的职业壁垒,就会面临中年危机带来的挑战。 人工智能相对的技术内容是塑造职业壁垒的有力武器,并非要求产品经理能够自己写代码开发产品,而且在了解技术原理后,能够将业务快速高效的转化为可实施的产品问题,对于人工智能相关的.

喜欢打酱油的老鸟 1万+

Spatial Pyramid Pooling(空间金字塔池化)-变尺度CNN训练

1. 需求创造好的产品,产品拓宽原始的需求 当前的深度神经网络一般都需要固定的输入图像尺寸(如224*224). 这种需求很明显是人为的,潜在性的弊端会降低识别精度(为了使图像尺寸相同,一定会涉及到图像的比例/非比例放缩,这就引入了尺度误差和形变误差)。何凯明师兄的这项工作主要是讲多分辨率搜索的思想融入到了现有的深度网络中,从而实现了多尺度网络的训练以及识别,进而提升了图像分类和目标检测的精度(...

沈春旭的博客 2万+

深度学习之全过程搭建卷积神经网络(CNN)

全过程搭建卷积神经网络

qq_45856698的博客 5418

0欧电阻、电感、磁珠单点接地时有什么区别?

0欧电阻、电感、磁珠单点接地时有什么区别? #电阻,#电感,#磁珠 一、0欧姆电阻 重点介绍:模拟地和数字地单点接地。 只要是地,最终都要接到一起,然后入大地。如果不接在一起就是“浮地”,存在压差,容易积累电荷,造成静电。地是参考0电位,所有电压都是参考地得出的,地的标准要一致,故各种地应短接在一起。 人们认为大地能够吸收所有电荷,始终维持稳定,是最终的地参考点。虽然有些板子没有接大地,但发电厂是接大地的,板子上的电源最终还是会返回发电厂入地。如果把模拟地和数字地大面积直...

FAguangdeer的博客 449

从零到一:基于Esp32与LVGL的ST7789屏幕驱动全流程实战

本文详细介绍了基于Esp32与LVGL的ST7789屏幕驱动全流程实战,包括环境准备、驱动文件改造、硬件接口配置、LVGL集成与优化等关键步骤。通过VSCode+ESP-IDF开发环境,读者可以快速掌握SPI模式下的屏幕驱动开发,解决常见问题如颜色错乱、画面撕裂等,并实现LVGL的高效集成与性能优化。

weixin_33725722的博客 713

基于CNN对彩色图像数据集CIFAR-10实现图像分类--keras框架实现

基于CNN对彩色图像数据集CIFAR-10实现图像分类--keras框架实现

YuZhou的博客 926

Linux 命令之 locale -- 设置和显示程序运行的语言环境

文章目录命令介绍locale 设置规则使用详解(一)查看当前 locale 设置(二)查看当前系统所有可用 locale(三)设置系统的 locale 命令介绍 locale 是 Linux 系统中多语言环境的设置接口,在 Linux 中,使用 locale 命令来设置和显示程序运行的语言环境,locale 会根据计算机用户所使用的语言,所在国家或者地区,以及当地的文化传统定义一个软件运行时的语言环境。 通过 locale 来设置程序运行的不同语言环境,locale 由ANSI C提供支持。locale 的

liaowenxiong的博客 3万+

ubuntu20.04系统安装及配置

ubuntu20.04系统的安装,驱动的安装,cudn和cudnn的安装,MIniconda及docker及nvidia-docker,及相关应用安装:sogo输入法,微信,qq及dukto

ZM_L的博客 6967

SAP CO模块实战:成本中心会计分割结构配置全流程(OKES事务码详解)

本文详细解析了SAP CO模块中成本中心会计分割结构的配置全流程,重点讲解了OKES事务码的实战操作。内容涵盖分割结构的概念理解、配置前的次级成本要素与作业类型主数据准备,并通过步骤拆解演示了如何定义分割结构、规则与版本,以及如何将配置关联到成本中心并执行分割。最后提供了常见问题排查与优化建议,旨在帮助顾问及财务人员掌握成本精确分摊的关键配置,确保期末成本核算的准确性。

embedding5hiker的博客 808

使用Python开发TreeATE的测试脚本常见问题

ImportError: No module named py_compile 找不到 DevLangPython3.dll 以上2个问题都是没有安装正确的Python,当前TreeATE依赖32位Python 2.7版本,暂时不支持Python 3以上版本

蓝白云的专栏 1033

读取照片原始信息 控件_java读取照片信息

在项目中遇到需要从照片中读取经纬度等信息(因为照片是大疆无人机拍摄,所以照片信息中含有经纬度等信息)。引入依赖com.drewnoakesmetadata-extractor2.11.0编写解析代码工具类public static void main(String[] args) throws Exception{File file = new File("D:DJI_0066.JPG");pri...

weixin_39855634的博客 661

C#上位机国产化适配全方案:兼容统信UOS+鲲鹏/昇腾+国产PLC,可直接交付国企项目

去年下半年,我帮天津滨海新区一家给一汽丰田做配套的汽车零部件国企,完成了3条产线、12套C#上位机的全栈国产化适配。这个项目的背景很典型,也很戳中国企客户的命门:一开始客户找了两家本地的集成商,都没搞定:第一家只会用.NET Framework,根本不知道怎么在统信UOS上跑C#;第二家勉强用.NET Core 3.1跑起来了,但和汇川国产PLC的通信丢包率高达1.2%,产线根本不敢用。我们接手后,用了2个月完成全栈适配:从Windows Server 2019迁移到统信UOS 1070d服务器版,从.NE

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 500

vue 如何获取图片的原图尺寸_js获取图片信息(一)-----获取图片的原始尺寸

如何获取图片的原始尺寸大小?如下,当给 img 设置一个固定的大小时,要怎样获取图片的原始尺寸呢?#oImg{width: 100px;height: 100px;}方法一:HTML5提供了一个新属性 naturalWidth / naturalHeight 可以直接获取图片的原始宽高。这两个属性在Firefox/Chrome/Safari/Opera及IE9里已经实现。w = document....

weixin_34916118的博客 2003

36、T5L 迪文屏C51开发之绘制动态曲线

T5L 迪文屏C51开发之绘制动态曲线1、介绍2、例程功能简介3、GUI界面设计3、C51程序设计 1、介绍   本文将利用DGUS Tool软件中的【动态曲线控件】来绘制曲线效果,在T5L迪文屏中总共支持8个通道的曲线,而曲线数据是需要缓冲区的,如果 8 通道曲线同时使用,0x1000-0x4FFF 将作为曲线缓冲区地址,此时该部分变量地址不能被其他控键使用,其他控键地址使用范围为0x5000-0xFFFF,当某曲线通道不被使用时,那么其所对应的缓冲区地址可以做其他用途,曲线通道具体的地址分布如下图所示:

嵌入式羊圈 3135

错误代码:11300001 数据集 [xxx] 配置错误“=”附近有语法错误(原理分析)

错误代码:11300001 数据集 [1_Workshift] 配置错误“=”附近有语法错误。

码农研究僧的博客 917

论文阅读:CVPR2016 Paper list

CVPR2016 accepted paper list

一亩半分地 8万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【计算摄影】计算机如何学会欣赏照片的美感?

大家好,这是专栏《计算摄影》的第二篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科。今天我们讨论的问题是图像美学评估问题。 ...

hacker_long的专栏 2091

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

CVPR 2016 摘要阅读

为了说明看过CVPR2016全部文章的摘要,总结一下,摘要只保留了创新点部分。 ORAL SESSION Image Captioning and Question Answering Monday, June 27th, 9:00AM - 10:05AM. These papers will also be presented at the following poster sessio

Tsingzao的博客 4万+

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

论文笔记-NIMA-Neural Image Assessment, IEEE Transactions on Image Processing 2018

论文笔记-NIMA-Neural Image Assessment, IEEE Transactions on Image Processing 2018摘要 论文引用: Talebi H , Milanfar P . NIMA: Neural Image Assessment[J]. IEEE Transactions on Image Processing, 2017, PP(99):1-1....

qq_22565865的博客 3620

语义分割(semantic segmentation)--DeepLabV3之ASPP(Atrous Spatial Pyramid Pooling)代码详解

ASPP: Atrous Spatial Pyramid Pooling deeplabv2中的aspp如上图所示,在特征顶部映射图使用了四中不同采样率的空洞卷积。这表明以不同尺度采样时有效的,在Deeolabv3中向ASPP中添加了BN层。不同采样率的空洞卷积可以有效捕获多尺度信息,但会发现随着采样率的增加,滤波器有效权重(权重有效的应用在特征区域,而不是填充0)逐渐变小。如下图 当...

别说话写代码的博客 5万+

PyTorch的自适应池化Adaptive Pooling

自适应池化Adaptive Pooling是PyTorch含有的一种池化层,在PyTorch的中有六种形式: 自适应最大池化Adaptive Max Pooling: torch.nn.AdaptiveMaxPool1d(output_size) torch.nn.AdaptiveMaxPool2d(output_size) torch.nn.AdaptiveMaxPool3d(output_s...

u013382233的博客 6万+

[开发技巧]·AdaptivePooling与Max/AvgPooling相互转换

[开发技巧]·AdaptivePooling与Max/AvgPooling相互转换 个人网站-->http://www.yansongsong.cn 1.问题描述 自适应池化Adaptive Pooling是PyTorch的一种池化层,根据1D,2D,3D以及Max与Avg可分为六种形式。 自适应池化Adaptive Pooling与标准的Max/AvgPooling区别在于,...

简明AI工作室 1万+

深度学习笔记(一)空间金字塔池化阅读笔记Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

空间金字塔池化      空间金字塔池化层简介:                   在对图片进行卷积操作的时候,卷积核的大小是不会发生变化的额,反向调节的权重仅仅是数值会发生变化。但是,但是,但是,输入的图片的大小你是否可以控制呢?哈哈,我们的输入图片大小是会发生变化的,这里图片大小的变化并不会在卷积操作和polling操作产生影响,但是会对全连接层的链接产生影响。这篇文章的核心就是解决如何

HAHA的专栏 3万+

常用图像数据集原始数据(.png或.jpg格式)生成方法

引言 在计算机视觉方面的工作,我们常常需要用到很多图像数据集.像ImageNet这样早已大名鼎鼎的数据集,我等的百十个G的硬盘容量怕是怎么也承载不下;本文中,将给出一些Hello world级的图像数据集生成方法,以及其他相关图像数据资源的整理. 本文的主要内容包括: MNIST, CIFAR-10, CIFAR-100等.png或.jpg格式数据集的生成方法;如何编写脚本生成图

iSummer的专栏 1万+
上一篇: 从alexnet到resnet,初探深度学习算法玩摄影
下一篇: 【GAN的应用】基于对抗学习的图像美学增强方法
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值