数据预处理--数据扩增

数据预处理--数据扩增/Data Augmentation/图像增强

  若增加训练数据,则能够提升算法的准确率,因为这样可以避免过拟合,更好地泛化;而避免了过拟合你就可以增大你的网络结构了。
  可以大量使用数据增广。

1)几何变换

  包括:弹性变换(Elastic Transform)、透视变换(Perspective Transform)、分段仿射变换(Piecewise Affine transforms)、枕形畸变(Pincushion Distortion)。
在这里插入图片描述

  a)随机改变大小(resize),随机缩放、旋转、翻转

  b)从原始图像(256,256)中,随机的crop出一些图像(224,224)
  作者说,不做随机crop,大型网络基本都过拟合(under substantial overfitting)。
  先crop,后padding再resize,这样输入图片会保持长宽比。我们做过类似的实验,抠图直接resize到输入尺寸,这样图片会损失长宽比,结果会差一点。然后,我们会先做加入Random scales,把框进行随机扩大或者缩小。

  c)水平/竖直翻转,flip。mirror,即水平翻转图像。

transform_param { 
# 测试的时候就不做镜像了
    mirror: false
    crop_size: 227
    mean_file: ""ilsvrc12/imagenet_mean.binaryproto""
}

     
     
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

  d)Rotation变换/旋转变换
  目前主流的处理方式rotate负30度到正30度,这次我们用的是负45度到正45度。这个Rotation一般来说会有提升但是不会很大,主要是用在一些比较极端的情况下,比如人是斜着的。
  在后面做实验的时候,发现了另外一种思路:直接把人旋转,检测出人的头,或某个部位之后,按照一定的角度把人转正。

2)加噪声

  对主成分做一个(0, 0.1)的高斯扰动。

3)PCA Jittering(颜色改变)

  最早是由Alex在他2012年赢得的ImageNet竞赛的那篇NIPS中提出的。
  a)首先按照RGB三个颜色通道计算均值和标准差,对网络的输入数据进行规范化,
  b)随后我们在整个训练集上计算了协方差矩阵,进行特征分解,得到特征向量和特征值,用来做PCA Jittering。
  对RGB空间做PCA,然后对主成分做一个(0, 0.1)的高斯扰动。结果让错误率又下降了1%。
在这里插入图片描述

4)对比度和亮度

  给图像增加一些随机的光照;
  对比度受限自适应直方图均衡化算法(Clahe),锐化(Sharpen),凸点(Emboss);

5)随机色相、饱和度、明度(HSV)变换

6)彩图到灰度转换(Color to Gray)

7)将灰度图重新映射到随机颜色的图像中

8)模糊(Blur)、一般模糊(Median Blur)、非常模糊(Motion Blur)

9)通道重排

  由于数据的天然性,这一点非常重要

10)图像上细胞核的复制?

  这样就创造了大量重叠的细胞核,似乎有助于网络更好地学到重叠细胞核的边界。

                </div>
                <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
                                </div>
</article>
    <div id="dmp_ad_58"><div id="kp_box_58" data-pid="58" data-track-click="{&quot;mod&quot;:&quot;kp_popu_58-386&quot;,&quot;con&quot;:&quot;,,&quot;}"><div style="width:100%;background:#fff;">
<div class="comment-edit-box d-flex">
	<a id="commentsedit"></a>
	<div class="user-img">
		<a href="//me.youkuaiyun.com/weixin_44211398" target="_blank">
			<img class="" src="https://avatar.youkuaiyun.com/3/4/2/3_weixin_44211398.jpg">
		</a>
	</div>
	<form id="commentform">
		<input type="hidden" id="comment_replyId">
		<textarea class="comment-content" name="comment_content" id="comment_content" placeholder="想对作者说点什么"></textarea>
		<div class="opt-box"> <!-- d-flex -->
			<div id="ubbtools" class="add_code">
				<a href="#insertcode" code="code" target="_self"><i class="icon iconfont icon-daima"></i></a>
			</div>
			<input type="hidden" id="comment_replyId" name="comment_replyId">
			<input type="hidden" id="article_id" name="article_id" value="84752498">
			<input type="hidden" id="comment_userId" name="comment_userId" value="">
			<input type="hidden" id="commentId" name="commentId" value="">
			<div style="display: none;" class="csdn-tracking-statistics tracking-click" data-mod="popu_384"><a href="#" target="_blank" class="comment_area_btn">发表评论</a></div>
			<div class="dropdown" id="myDrap">
				<a class="dropdown-face d-flex align-items-center" data-toggle="dropdown" role="button" aria-haspopup="true" aria-expanded="false">
				<div class="txt-selected text-truncate">添加代码片</div>
				<svg class="icon d-block" aria-hidden="true">
					<use xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#csdnc-triangledown"></use>
				</svg>
				</a>
				<ul class="dropdown-menu" id="commentCode" aria-labelledby="drop4">
					<li><a data-code="html">HTML/XML</a></li>
					<li><a data-code="objc">objective-c</a></li>
					<li><a data-code="ruby">Ruby</a></li>
					<li><a data-code="php">PHP</a></li>
					<li><a data-code="csharp">C</a></li>
					<li><a data-code="cpp">C++</a></li>
					<li><a data-code="javascript">JavaScript</a></li>
					<li><a data-code="python">Python</a></li>
					<li><a data-code="java">Java</a></li>
					<li><a data-code="css">CSS</a></li>
					<li><a data-code="sql">SQL</a></li>
					<li><a data-code="plain">其它</a></li>
				</ul>
			</div>  
			<div class="right-box">
				<span id="tip_comment" class="tip">还能输入<em>1000</em>个字符</span>
				<input type="button" class="btn btn-sm btn-cancel d-none" value="取消回复">
				<input type="submit" class="btn btn-sm btn-red btn-comment" value="发表评论">
			</div>
		</div>
	</form>
</div>

	<div class="comment-list-container">
	<a id="comments"></a>
	<div class="comment-list-box">
	</div>
	<div id="commentPage" class="pagination-box d-none"></div>
	
</div>
<div class="recommend-item-box recommend-ad-box"><div id="kp_box_59" data-pid="59" data-track-click="{&quot;mod&quot;:&quot;kp_popu_59-855&quot;,&quot;con&quot;:&quot;,,数据预处理&quot;}"><iframe src="https://kunpeng-sc.csdnimg.cn/#/preview/65?positionId=59&amp;queryWord=数据预处理" frameborder="0" width="100%" height="75px" scrolling="no"></iframe></div></div>
<div class="recommend-item-box recommend-ad-box"><div id="kp_box_60" data-pid="60" data-track-view="{&quot;mod&quot;:&quot;kp_popu_60-894&quot;,&quot;con&quot;:&quot;2398108770730030876,https://edu.youkuaiyun.com/course/detail/1759,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_60-894&quot;,&quot;con&quot;:&quot;2398108770730030876,https://edu.youkuaiyun.com/course/detail/1759,&quot;}"><link rel="stylesheet" href="https://www.youkuaiyun.com/company/css/edu-recommend-1.0.1.css">
		<div class="recommend-item-box blog-expert-recommend-box" style="">
		<div class="d-flex">
			<div class="blog-expert-recommend">
				<div class="blog-expert">
					<div class="blog-expert-flexbox"></div>
				</div>
			</div>
		</div>
	</div>
<div class="recommend-item-box recommend-ad-box"><div id="_m58fa8qvs7q" style=""><div class="axmxfgznuryijh" style="width:0px;height:0px;zoom:1;"></div><iframe width="852" frameborder="0" height="60" scrolling="no" src="https://pos.baidu.com/s?hei=60&amp;wid=852&amp;di=u3491668&amp;ltu=https%3A%2F%2Fblog.youkuaiyun.com%2Fwydbyxr%2Farticle%2Fdetails%2F84752498&amp;psi=1de52f838110082ba8a8b1a60cba7eb1&amp;tcn=1561944260&amp;ant=0&amp;ccd=24&amp;tpr=1561944259787&amp;cja=false&amp;cdo=-1&amp;ps=3906x491&amp;cfv=0&amp;dri=0&amp;psr=1366x768&amp;dtm=HTML_POST&amp;chi=2&amp;par=1366x768&amp;pis=-1x-1&amp;cpl=19&amp;pss=1636x5830&amp;col=zh-CN&amp;cce=true&amp;cec=UTF-8&amp;ari=2&amp;cmi=36&amp;ti=%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86--%E6%95%B0%E6%8D%AE%E6%89%A9%E5%A2%9E%2FData%20Augmentation%2F%E5%9B%BE%E5%83%8F%E5%A2%9E%E5%BC%BA%20-%20wydbyxr%E7%9A%84%E5%8D%9A%E5%AE%A2%20-%20优快云%E5%8D%9A%E5%AE%A2&amp;drs=1&amp;dis=0&amp;tlm=1561944259&amp;dai=2&amp;pcs=1636x806&amp;prot=2&amp;dc=3&amp;exps=111000,117009,110011"></iframe></div><script type="text/javascript" src="//rabc1.iteye.com/production/res/rxjg.js?pkcgstj=jm"></script></div>
<div class="recommend-item-box recommend-ad-box"><div id="kp_box_62" data-pid="62" data-track-view="{&quot;mod&quot;:&quot;kp_popu_62-1062&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_62-1062&quot;,&quot;con&quot;:&quot;,,&quot;}"><iframe src="https://kunpeng-sc.csdnimg.cn/#/preview/237?positionId=62&amp;queryWord=" frameborder="0" width="100%" height="75px" scrolling="no"></iframe></div></div>
<div class="recommend-item-box recommend-ad-box"><div id="kp_box_63" data-pid="63" data-track-view="{&quot;mod&quot;:&quot;kp_popu_63-1059&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_63-1059&quot;,&quot;con&quot;:&quot;,,&quot;}"><iframe src="https://kunpeng-sc.csdnimg.cn/#/preview/234?positionId=63&amp;queryWord=" frameborder="0" width="100%" height="75px" scrolling="no"></iframe></div></div>
PCA变换和2DPCA变换区别在哪里?
09-16

如题,有点混乱,我看着怎么感觉差不多呢 论坛

关于深度学习训练的硬件配置
05-10

各位大大们好! 老板甩给我一个关于深度学习方面的课题,近几个月以来一直在做调研、学习,现在准备是采用SSD来做目标检测方面的研究。做训练、预测的话需要配置一些设备,目前手头上有一块TX1板子,感觉跑模 论坛

<div class="recommend-item-box recommend-ad-box"><div id="kp_box_64" data-pid="64" data-track-view="{&quot;mod&quot;:&quot;kp_popu_64-1251&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_64-1251&quot;,&quot;con&quot;:&quot;,,&quot;}"><!-- T28 位置 -->
<div class="recommend-item-box recommend-ad-box"><div id="kp_box_65" data-pid="65" data-track-view="{&quot;mod&quot;:&quot;kp_popu_65-1252&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_65-1252&quot;,&quot;con&quot;:&quot;,,&quot;}"><!-- T33 位置 -->
DL开源框架Caffe | 模型微调 (finetune)的场景、问题、技巧以及解决方案

04-12 阅读数 8601

DL开源框架Caffe|模型微调(finetune)的场景、问题、技巧以及解决方案 博文 来自: 深度学习思考者

<div class="recommend-item-box recommend-ad-box"><div id="kp_box_66" data-pid="66" data-track-view="{&quot;mod&quot;:&quot;kp_popu_66-881&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_66-881&quot;,&quot;con&quot;:&quot;,,&quot;}"><script src="https://nbrecsys.4paradigm.com/resource/cus/csdn/sdk-csdn-render.js"></script>
sqlserver中表值函数的常用方法技巧有哪些?
06-12

- 问答

<div class="recommend-item-box recommend-ad-box"><div id="kp_box_67" data-pid="67" data-track-view="{&quot;mod&quot;:&quot;kp_popu_67-882&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_67-882&quot;,&quot;con&quot;:&quot;,,&quot;}"><script src="https://nbrecsys.4paradigm.com/resource/cus/csdn/sdk-csdn-render.js"></script>
数据预处理--数据扩增/Data Augmentation/图像增强 - w..._优快云博客

6-6

wydbyxr的博客 登录 原 数据预处理--数据扩增/Data Augmentation/图像增强 whitenightwu 阅读数:1272 2018-12-03   若增加训练数据,则能够提升算法的准确...

数据扩增 data-augmentation的方法及代码 - duanshao的..._优快云博客

5-22

数据预处理--数据扩增/Data Augmentation/图像增强 12-03 阅读数 1165  ...博文 来自: wydbyxr的博客 深度学习中的数据扩增方法 11-14 阅读数 5685 ...

<div class="recommend-item-box recommend-ad-box"><div id="kp_box_68" data-pid="68" data-track-view="{&quot;mod&quot;:&quot;kp_popu_68-883&quot;,&quot;con&quot;:&quot;,,&quot;}" data-track-click="{&quot;mod&quot;:&quot;kp_popu_68-883&quot;,&quot;con&quot;:&quot;,,&quot;}"><!-- T48 位置 -->
人脸检测工具face_recognition的安装与应用

08-11 阅读数 9万+

人脸检测工具face_recognition的安装与应用 博文 来自: roguesir的博客

环信(Android)设置头像和昵称的方法(最简单暴力的基于环信demo的集成)。

06-28 阅读数 1248

http://blog.youkuaiyun.com/zqbemail10/article/details/51659128 博文 来自: 力学不知疲

mybatis一级缓存(session cache)引发的问题

05-14 阅读数 5万+

mybatis一级缓存(session cache)引发的问题 博文 来自: flysharkym的专栏

            <div class="recommend-item-box type_hot_word">
                            <div class="content clearfix" style="width: 962px;">
                <div class="word float-left">
                                                        <span>
                    <a href="https://edu.youkuaiyun.com/courses/o5329_s5330_k " target="_blank">
                    机器学习教程                    </a></span>
                                                                            <span>
                    <a href="https://edu.youkuaiyun.com/courses/o280_s351_k " target="_blank">
                    Objective-C培训                    </a></span>
                                                                            <span>
                    <a href="https://edu.youkuaiyun.com/combos/o7115_s388_l0_t " target="_blank">
                    交互设计视频教程                    </a></span>
                                                                            <span>
                    <a href="https://edu.youkuaiyun.com/course/play/5599/104252 " target="_blank">
                    颜色模型                    </a></span>
                                                                            <span>
                    <a href="https://edu.youkuaiyun.com/combos/o363_l0_t " target="_blank">
                    设计制作学习                    </a></span>
                                                        </div>
            </div>
                                            <div class="content clearfix" style="width: 962px;">
                <div class="float-left">
                                    <span>
                    <a href="https://www.youkuaiyun.com/gather_24/MtTaEg3sMDM5MS1ibG9n.html" target="_blank">
                    mysql关联查询两次本表</a>
                </span>
                                    <span>
                    <a href="https://www.youkuaiyun.com/gather_10/MtjaIg3sMTUzMy1kb3dubG9hZAO0O0OO0O0O.html" target="_blank">
                    native底部 react</a>
                </span>
                                    <span>
                    <a href="https://www.youkuaiyun.com/gather_1b/Ntzagg1sOTU3LWRvd25sb2Fk.html" target="_blank">
                    extjs glyph 图标</a>
                </span>
                                    <span>
                    <a href="https://www.youkuaiyun.com/gather_4a/Mtjakg5sODMtZWR1.html" target="_blank">
                    云计算数据</a>
                </span>
                                    <span>
                    <a href="https://www.youkuaiyun.com/gather_4a/MtTaQg4sMTktZWR1.html" target="_blank">
                    数据培训</a>
                </span>
                                    </div>
            </div>
                            </div><div class="recommend-item-box baiduSearch recommend-box-ident" data-track-view="{&quot;mod&quot;:&quot;popu_387&quot;,&quot;con&quot;:&quot;,https://blog.youkuaiyun.com/Z199448Y/article/details/85830239,searchFromBaidu1_2,-&quot;}" data-track-click="{&quot;mod&quot;:&quot;popu_387&quot;,&quot;con&quot;:&quot;,https://blog.youkuaiyun.com/Z199448Y/article/details/85830239,searchFromBaidu1_2,-&quot;}" data-flg="true">                <a href="https://blog.youkuaiyun.com/Z199448Y/article/details/85830239" target="_blank">              		<h4 class="text-truncate oneline" style="width: 869px;"><em>数据</em>扩充和<em>数据预处理</em> - Z199448Y的博客 - 优快云博客</h4>                  <div class="info-box d-flex align-content-center">                    <p>                      <span class="date">4-18</span>                    </p>                  </div>              		<p class="content oneline" style="width: 962px;">数据预处理--数据扩增/Data Augmentation/图像增强  12-03 阅读数 700    ...博文 来自: wydbyxr的博客  数据预处理的步骤  05-24 阅读数 1439  博文 ...</p>                </a>            	</div><div class="recommend-item-box baiduSearch recommend-box-ident" data-track-view="{&quot;mod&quot;:&quot;popu_387&quot;,&quot;con&quot;:&quot;,https://blog.youkuaiyun.com/wydbyxr/article/details/84754779,searchFromBaidu1_3,-&quot;}" data-track-click="{&quot;mod&quot;:&quot;popu_387&quot;,&quot;con&quot;:&quot;,https://blog.youkuaiyun.com/wydbyxr/article/details/84754779,searchFromBaidu1_3,-&quot;}" data-flg="true">                <a href="https://blog.youkuaiyun.com/wydbyxr/article/details/84754779" target="_blank">              		<h4 class="text-truncate oneline" style="width: 869px;"><em>数据预处理</em>--克服<em>数据</em>不平衡 - wydbyxr的博客 - 优快云博客</h4>                  <div class="info-box d-flex align-content-center">                    <p>                      <span class="date">5-10</span>                    </p>                  </div>              		<p class="content oneline" style="width: 962px;">  方法:使用数据扩增,并进行过采样。先观察训练样本中的一些图像,这些图像...data augmentation 数据增强方法总结  03-07 阅读数 2万+  1、问题描述收集...</p>                </a>            	</div>
                        <div class="recommend-loading-box">
            <img src="https://csdnimg.cn/release/phoenix/images/feedLoading.gif">
        </div>
        <div class="recommend-end-box">
            <p class="text-center">没有更多推荐了,<a href="https://blog.youkuaiyun.com/" class="c-blue c-blue-hover c-blue-focus">返回首页</a></p>
        </div>
    </div>
</main>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值