从alexnet到resnet,初探深度学习算法玩摄影

【阅读笔记】(语义分割最全总结,综述)《A Review on Deep Learning Techniques Applied to Semantic Segmentation》 本文记录了博主阅读论文《A Review on Deep Learning Techniques Applied to Semantic Segmentation》的笔记。更新于2019.2.19。 阅读详情

编辑:叶琰

简介

今天说的是初探,那就是说,目的是为了让大家先有一个比较直观的感受,主要集中在有监督算法上。

总体来说,就是指在底层特征的提取上,利用了从Alexnet开始,到最新的模型的方法,来替换掉早期的大量手动设计的特征。

主要从两大内容上让大家有一个直观的感受

1.从简单网络到复杂网络的升级,将分别举一个alexnet,googlenet,resnet的代表性paper。

2.说说网络结构的设计思路以及发展,以及主要使用的loss function。

 

下面的内容,如果有听不太懂的地方,就回到之前的一系列文章,去对着读。

1.1 Alexnet (2015年)


这篇文章研究的是一个二分类的问题。

是比较早期的应用,采用了一个双通道的网络,虽然不是直接的alexnet的网络,但是基本上也没有什么差异了,网络结构如下。

0?wx_fmt=png

从输入上,也是典型的两个子网络的操作,分别输入global view和local view。local view是多个random crop,可以学习到多个局部响应。

0?wx_fmt=png

从上面的网络结构和输入你就可以想到,这基本上也就是拿来做做分类了。实际上也是如此,上文就是拿来做二分类,以及图像风格的分类,特征直接抽取全连接层的特征。


1.2 GoogleNet【2】 (2017年)


这也是研究一个二分类的问题。


这篇文章,相对于上面的alexnet文章,更加直接,直接采用了googlenet v1的1/3部分,其中共3个inception module,前两个用于提取local feature,最后一个用于提取global feature。


最后,直接concatenate local feature与global feature层,输入softmax做分类。


也是直接粗暴的应用,不过通过观察feature map的响应特点,他们总结高质量图和低质量图的规律,并认为前者会有更多的激活。

0?wx_fmt=png

1.3 ResNet (2017年)


前面的两个,都是研究分类问题。但是到后来,美学质量的问题,已经转换为回归问题之后,文【3】就利用上了最新的resnet,一股脑研究了分数的分布特性。


网络结构本身,没什么变化。就是几个卷积+全连接层,但是因为为了适应不同的输入尺度,消除由于resize,crop等造成的精度损失,采用了自适应的spp layer(adaptive spatial pyramid pooling ),同时添加了语义分类信息作为弱监督,也提出了huber loss,与通用的回归问题loss,euclidnean loss做了比较。


取得了当下最好的结果,AVA上分类超过了80%,这也是当下state-of-out的水平了。

0?wx_fmt=png

2.1 DMA-Net【4】(2015年)


前面说的有些网络【2-3】,都是single column,也就是只有一个通道的输入。


实际上,从网络结构上来看,可以分为两大类。即single column与multi column,下面就说这个multi column。


DMA是其中一个代表。它的网络结构也很简单,4个卷积层和3个全连接层,每次送进去多个随机crop的图。

0?wx_fmt=png

随后,通过各种pool的组合(min,max,median,averaging),将各个patch的cnn特征进行组合,输出到softmax,随机进行分类。


怎么组合这些patch?由于不是直接采用全组合,所以文章说贡献了两个network layer,即statistics layer,与sorting layer。Statistics layer,学习到的是与顺序无关的,而sorting layer则是与顺序有关的。


虽然上面看起来是multi column,但实际上是共享权重的,所以严格说来,不是真正的multi column网络。


2.2 MNA-Net (2016年)


【5】是典型的mutli-column了。

0?wx_fmt=png

总共有5个columns。由于采用了sppnet,所以可以接受任意大小的图片输入,通过改变kernel尺寸的大小,可以学习到多尺度的信息。


3.1 multi-task loss【6】(2016年)


这部分,主要是说说多任务的loss,在其中的应用。


由于美学的评价标准,跟图像的主体是什么,以及图像的摄影风格,是有很大的关系的,所以style loss,content loss的应用,在后来是很广泛的。


【6】是直接使用alexnet,将输出的1000的fc8,变成了2分类的美学layer,和29类的semantic layer,也就是直接融合了两类loss,但是有个很大的隐患,loss的平衡也就是相对权重,是一个非常需要经验的问题。


rapid【1】中就加入了style loss做正则,相对于【6】来说,训练会更加容易。【7】更是猛,直接3分类。将任务拆解成3个,object,scene,texture。


Scene的输入:wrapped global image,

Object:wrapped global image与检测到的salient region。


Texture:16个随机cropped patchs,当然了,训练的细节,我们可以在课程中详细讲述。

 

 

重点说说AADB【8】的文章,他们的网络训练的时候是成对训练的。核心思想是要整合语义级别的内容,与visual content属性。学习到的是一个相对的分数。


学习分为3个阶段:


利用euclidean loss,学习美学分数。


加入attribute,然后进行分类。


加入class content branch,继续学习。


多阶段的学习,是能够收敛的保障。

 

就这么多,看完大家应该已经有个大致的印象了。

0?wx_fmt=gif

0?wx_fmt=jpeg

从AlexNet到DALL·E 2:这13个领域的SOTA模型演进史,如何改变了我们的日常生活? 本文回顾了从AlexNet到DALL·E 2的13个AI领域SOTA模型演进史,揭示了这些技术如何重塑日常生活。从计算机视觉的图像识别到生成艺术,自然语言处理的语义理解,推荐系统的多模态分析,以及生成式AI的多模态创作,这些突破性模型已广泛应用于智能手机、电商、内容创作等领域,极大提升了效率和用户体验。 阅读详情

相关推荐

计算机视觉深度学习在CV中的应用:从AlexNet到Vision Transformer

计算机视觉深度学习在CV中的应用:从AlexNet到Vision Transformer,人工智能、AI、大模型、计算机视觉(CV)作为人工智能领域的重要分支,旨在让计算机理解和解释图像或视频中的内容。深度学习的出现,为计算机视觉带来了革命性的进展。从早期的 AlexNet 打破传统计算机视觉方法的局限,到如今 Vision Transformer 引领新的研究方向,深度学习模型不断推动着 CV 技术在图像分类、目标检测、语义分割等任务上取得突破。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 12万+

【深度学习】LeNet原理及代码实现

【代码】LeNet原理及代码实现。

啦啦啦 1041

OpenCV-Python实战(19)——OpenCV与深度学习的碰撞

OpenCV 中包含深度神经网络 (deep neural networks, DNN) 模块,可以使用深度神经网络实现前向计算(推理阶段),使用一些流行的深度学习框架进行预训练的网络(例如 Caffe、TensorFlow、Pytorch、Darknet等)就可以轻松用在 OpenCV 项目中了。在本文中,我们将通过实战学习将流行的深度学习模型架构应用于目标检测和图像分类中,构建 OpenCV 计算机视觉项目。

盼小辉丶的博客 2万+

VGGNet网络结构学习

前言 VGG是Oxford的Visual Geometry Group的组提出的(大家应该能看出VGG名字的由来了)。该网络是在ILSVRC 2014上的相关工作,主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构,分别是VGG16和VGG19,两者并没有本质上的区别,只是网络深度不一样。 VGGNet网络 深度神经网络一般由卷积部分和全连接部分构成。卷积部分一般包含卷积(可以有多个不同尺寸的核级联组成)、池化、Dropout等,其中Dropout层必须放在池化之后。全连接部

Maple__Boy 3544

OpenCV-Python实战(18)——深度学习简介与入门示例

深度学习已经成为机器学习中最受欢迎和发展最快的领域。自 2012 年深度学习性能超越机器学习等传统方法以来,深度学习架构开始快速应用于包括计算机视觉在内的众多领域。深度学习的常见应用包括语音识别、图像识别、自然语言处理、推荐系统等等。在本文中,首先介绍传统机器学习方法与深度学习间的差异,然后将介绍图像分类和对象检测中常见的深度学习架构,最后,将介绍深度学习 Python 库 Keras,并通过实战来推开深度学习的大门。

盼小辉丶的博客 2万+

基于Matlab深度学习以图搜图系统设计与实现

以图搜图作为图像检索的核心应用,正从传统视觉特征匹配向语义理解快速演进。通过深度学习模型提取高维语义特征,结合相似度度量实现高效的图像内容匹配,已成为现代图像检索系统的技术基石。预训练卷积神经网络(CNN)作为特征提取器,利用迁移学习在少量数据下即可获得可观的检索精度,广泛适用于电商找同款、摄影作品溯源、相册智能分类等场景。本文从图像特征提取、相似度计算、系统搭建到效果调优,系统梳理基于Matlab的以图搜图完整实现路径,为工程实践与毕业设计提供参考。

weixin_29058331的博客 326

卷积神经网络AlexNet和ResNet比较[2021论文]

本文是一篇`人工智能`前沿算法课设小论文,主要内容是对于经典模型`AlexNet`和`ResNet`的比较。整体上比较完整,由于是从文档上搬上来,所以在排版上有一些不规范,需要`完整论文或者参考文献`私信可免费提供。

weixin_44972997的博客 6307

LIS3DHTR三轴加速度计Arduino驱动与嵌入式集成指南

加速度计是嵌入式系统中实现运动感知、姿态解算和振动分析的核心传感器。其工作原理基于MEMS微机械结构在惯性力作用下的电容变化,经片内ADC转换为数字信号;I²C接口因其硬件资源占用少、布线简洁,成为低功耗物联网节点的主流通信方式。技术价值体现在高分辨率(12位)、多量程(±2g~±16g)与低功耗(待机电流仅2µA)的平衡,支撑电池供电设备长期运行。典型应用场景包括可穿戴设备的姿态识别、工业预测性维护中的振动监测,以及智能硬件的敲击/跌落检测。本文围绕LIS3DHTR芯片及其Grove模块,详解Arduin

weixin_42584758的博客 596

【深度学习】经典的卷积神经网络模型介绍(LeNet、AlexNet、VGGNet、GoogLeNet、ResNet和MobileNet)

经典的卷积神经网络模型介绍卷积神经网络简介一、LeNet1、INPUT层-输入层2、C1层-卷积层3、S2层-池化层(下采样层)4、C3层-卷积层5、S4层-池化层(下采样层)6、C5层-卷积层7、F6层-全连接层二、AlexNet1、AlexNet特点2、ReLu作为激活函数3、数据增强4、层叠池化5、局部相应归一化6、Dropout7、Alex网络结构8、AlexNet参数数量三、VGG net1、VGG的特点2、VGG网络结构3、VGG优缺点四、GoogLeNet1、GoogLeNet Incepet

点赞的都能无bug通过! 5万+

RAGFlow核心引擎DeepDoc之PDF解析大起底

本文深入解析RAGFlow中的deepdoc模块,重点介绍了pdf文档解析器的实现细节。deepdoc包含parser(文档解析器)和vision(视觉处理)两大核心功能,其中pdf解析是最复杂的部分。文章详细剖析了PdfParser类的设计架构,包含PlainParser(基础文本提取)、RAGFlowPdfParser(核心处理流水线)和VisionParser(视觉扩展)三个类,它们通过统一的__call__方法返回标准化结果。还具体讲解了初始化过程如何加载OCR引擎、布局识别模型、表格结构识别器等关

yxkong的专栏 2029

专项1.CCS代码补全与快捷键优化全攻略

本文全面解析CCS开发环境的代码补全功能与快捷键优化技巧,包括内容辅助触发机制、快捷键自定义配置、编码效率提升方法等实用内容。通过详细步骤指导开发者优化CCS配置,实现高效的代码自动补全和个性化快捷键设置,显著提升嵌入式开发效率。

kotlin6android的博客 226

【深度学习】AlexNet、VGG、GooLeNet、ResNet整理笔记

https://wenku.baidu.com/view/3ce7dbff7c192279168884868762caaedc33ba72.html

冷芝士鸭的学习笔记 8019

避开这些坑,你的Python爬虫才能稳定爬取IEEE Xplore(含反爬策略与MongoDB存储实战)

本文详细介绍了如何构建稳定的Python爬虫系统以爬取IEEE Xplore学术论文,包括反爬策略、MongoDB存储优化和断点续传机制。通过动态等待时间算法、请求头指纹管理和会话保持策略,有效应对IEEE的反爬机制。同时,优化MongoDB数据结构和索引,提升存储效率。最后,强调法律合规与伦理考量,确保爬虫合法合规运行。

weixin_29031057的博客 1096

深度学习笔记----计算机视觉的任务及对应的网络模型

计算机视觉 计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。 深度学习在计算机视觉领域四大基本任务中的应用,包括: 任务名称 输入 ...

wait1ess的博客 8086

【FPGA】Robei EDA的使用(10)————如何更新EDA的使用license

#海卑而下,能聚众水;学问笃实,以生光辉。 有的时候,有些问题自己通过查找资料解决,宁愿磨难一下,走点弯路,但收获更深刻的认知;不过,有些问题,问一下别人,可能会避免自己耗费过多时间做无用工,这些问题问会的人是极好的。但是怎样把握这个问题的类型,大约只能靠经验了~ (问我为何出此感言,谁叫我纠结了两天的问题,被人家一句话解决,我这个恨啊) ————————————————————正文开始的分割线———————————————— Robei EDA在使用上会有一个注册码,这个license在获取之后,每一次的

Ninquelote的博客 1004

CRC_16---ModBus 计算方法及代码实现

1、 CRC寄存器初始值为 0xFFFF;即16个字节全为1; 2、 CRC-16 / ModBus的多项式0xA001H (1010 0000 0000 0001B) ; ‘H’表示16进制数,‘B’表示二进制数。 计算步骤为: (1).预置 16 位寄存器为十六进制 0xFFFF(即全为 1) ,称此寄存器为 CRC 寄存器; (2).把第一个 8 位数据与 16 位 CRC 寄存器的低位相异或,把结果放于 CRC 寄存器; (3).检测相异或后的CRC寄存器的最低位,若最低位为1,CRC寄存器

1万+

基于深度学习的图像语义分割技术概述之背景与深度网络架构

本文为论文阅读笔记,不当之处,敬请指正。  A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文链接 摘要 图像语义分割正在逐渐成为计算机视觉及机器学习研究人员的研究热点。大量应用需要精确、高效的分割机制,如:自动驾驶、室内导航、及虚拟/增强现实系统。这种需求与机器视觉方面的深度学习领域的目

gqixf的博客 3577

EndNote X9 参考文献附录列表 格式调整

EndNote X9 插入参考文献常见问题总结

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 2571

美学评价算法总结

综述: 实习期间复现了一个美学评价算法,应用到我们的产品中的效果就是,单击一个按钮之后,前端能将当前所有的图片按照图片的“好看”程度进行排名,这样顾客在选择所需要的图片的时候可以首先用算法将好看一点的图片选出来,再自己筛选,美学评价算法相当于完成一个预筛选的过程。 论文在AlexNet上进行微调,我对论文进行了复现,同时将网络改成了ResNet-50,得到了更好的效果,相信使用更好的分类CNN进

小湉湉的博客 5317

RK3566/RK3568 Android 11添加系统服务

【代码】RK3566/RK3568 Android 11添加系统服务。

qq_23921815的博客 642

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

从AlexNet到CLIP:计算机视觉模型如何学会‘理解‘自然语言

本文探讨了从AlexNet到CLIP的计算机视觉模型进化历程,重点分析了CLIP如何通过对比学习实现图像与自然语言的跨模态理解。文章详细解析了CLIP的双编码器架构、对比损失函数及零样本推理机制,并介绍了其在ComfyUI等工具中的实际应用,展示了多模态学习在AI领域的革命性影响。

qsc9012345的博客 638

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

有哪些好看的CNN模型画法?

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达编辑:忆臻本文仅作为学术分享,如果侵权,会删文处理机器学习算法与自然语言处理报道有哪些好看的CNN模型画法?作者:bi...

小白学视觉 3309

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

智能图像处理技术从基础算法到前沿应用的全景解析

智能图像处理技术,作为计算机视觉和人工智能交叉领域的重要分支,通过模拟和扩展人类视觉系统的能力,赋予了机器“看懂”和理解图像内容的本领。它不再仅仅满足于对图像进行简单的增强或压缩,而是致力于从像素中提取有意义的信息,实现对场景的识别、理解和决策,从而推动着科技创新和社会发展的浪潮。注意力机制、Transformer架构在视觉任务中的应用,进一步提升了模型对图像全局上下文信息的捕捉能力,推动了图像分类、目标检测和语义分割等任务性能的边界。卷积神经网络(CNN)的广泛应用,标志着图像处理技术的一次质的飞跃。

TSH1264037548的博客 288

计算机视觉知识图谱:从学术传承到技术实践的全景架构

在人工智能浪潮席卷全球的今天,计算机视觉作为感知智能的核心领域,正以前所未有的速度重塑我们的世界。无论是自动驾驶的实时环境感知、医疗影像的精准诊断,还是智能安防的人脸识别,计算机视觉技术都扮演着关键角色。面对这个庞大而复杂的领域,如何系统性地构建知识体系、追踪技术发展脉络,成为每位从业者必须思考的课题。本文将从学术传承、技术架构、实践路径三个维度,为您呈现计算机视觉领域的全景图谱。 ## 学术传

gitblog_00475的博客 1077

计算机视觉技术演进树:从特征提取到多模态融合的算法发展脉络分析

本文通过"技术演进树"的分析框架,系统梳理计算机视觉从传统算法到深度学习革命的技术发展路径。我们将重点分析核心算法思想的传播路径、技术交叉融合的演进模式,以及从实验室到产业应用的技术转化机制,为技术从业者提供清晰的技术发展认知地图和进阶学习路线。 ## 技术演进树:从手工特征到神经网络的范式转换 计算机视觉技术的发展呈现出明显的树状演进特征,根植于基础数学理论,分化为多个技术分支,最终在深度学

gitblog_00828的博客 449
上一篇: 走向AI摄影终极之路 AVA数据集后时代与发展?
下一篇: MNA-CNN: 如何在美学质量评估中储存照片原始信息
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值