为什么越deep,越可以learning?

无监督特征学习——Unsupervised feature learning and deep learning 无监督学习近年来很热,先后应用于computer vision, audio classification和 NLP等问题,通过机器进行无监督学习feature得到的结果,其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning,结合他的视频:unsupervised feature learning by Andrew N 阅读详情

1. 模型深且瘦,要优于 矮且胖?

这里写图片描述
在参数一样的前提下,是模型深且瘦好些,还是矮且胖好些???
**

答案:在参数一样的前提下,模型越深越好

。**

2. 在参数不变前提下,为什么模型越深越好???

其实,“加大深度”就相当于函数中的模块化。
也就是“并不急于解决问题,而是把问题切成比较小的问题,再解决”。
而且这样的好处是:“数据集要求低,并不需要太多的数据”
比如:
这里写图片描述

而“加大深度”就 相当于 模块化。每一层的神经元,就相当于进行了一次“将问题划分为几个小问题。”后面的一层网络就相当于前面一层网络的小问题划分结果。
这里写图片描述
那么根据上面所说,可得:
deep 就相当于 模块化 。模块化就可以减少数据的需求量。所以deep 只需要比较少的需求量。
为什么我们要做deep learning ,就是因为我们没有足够的data,才会考虑deep learning。
很多人认为玩deep learning 就需要很多很多的数据,其实并不是,deep learning 需要少的数据也可以达到很好的效果。

这里写图片描述

强化学习(二)——Q learning、Sarsa、Deep Q learning三种算法思想 一、Q learning算法 如上图所示,Q learning的决策值(基于值的一种算法)存储在一张Q table中。可以先设定a1的奖励值为-2,a2的奖励值为1,那么在s1状态下我们选择奖励值大的动作a2,这就是上图中的Q(S1,a2)估计,接下来状态变为s2。 更新思想:但是Q table中的决策值只是我们先假定的决策值,这不是最优的。因此需要每走一步就更新一次(... 阅读详情

相关推荐

tensorflow线性模型以及Wide deep learning

请支持我的博客http://shuaizhang.tech/ 原文地址 什么是线性模型相信大多数人,刚开始接触机器学习的时候,就会接触到线性模型。来看一个简单的例子:通过人的年龄、受教育年数、工作年限等信息,可以预测出一个人的基本收入水平,预测方法就是对前面的限定特征赋予不同的权值,最后计算出工资;此外,线性模型也可以用于分类,例如逻辑回归就是一种典型的线性分类器。相对于其他的复杂模型来说,线性模

DavenCheung 1万+

【AI不惑境】网络深度对深度学习模型性能有什么影响?

大家好,这是专栏《AI不惑境》的第二篇文章,讲述模型深度与模型性能的关系。 进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考。如果说学习是一个从模仿,到追随,到创造的过程,那么到这个阶段,应该跃过了模仿和追随的阶段,进入了创造的阶段。从这个境界开始,讲述的问题可能不再有答案,更多的是激发大家一起来思考。 作者&编辑 | 言有三 深度学习模型之所以在各种任务中取得了成...

hacker_long的专栏 2574

Paper Reading 3:Continuous control with Deep Reinforcement Learning

来源:ICLR2016作者:Deepmind创新点:将Deep Q-Learning应用到连续动作领域continuous control(比如机器人控制)实验成果:能够鲁棒地解决20个仿真的物理控制任务,包含机器人的操作,运动,开车。。。效果比肩传统的规划方法。优点: End-to-End 将Deep Reinforcement Learning应用在连续动作空间 缺点: 对于3D赛车,有时候并不

Flood Sung的专栏 1万+

李宏毅《机器学习》笔记:11.为什么要用深度模型

文章目录1. 同样数量的参数,哪种模型好?2. 原因2.1 问题1:为什么变高比变宽好呢?2.2 问题2:深度学习和模组化有什么关系? <--------感谢评论、答疑、指正!---------> 2021.10.5 LeeML-Notes:P22 洋洋洒洒老师讲了一大章,主要内容很简单,讲了俩事 1. 同样数量的参数,哪种模型好? 前提就是调整shallow和Deep让他们的参数是一样多,shallow model较好还是deep model较好? 【相同参数量的时候】 我们用5层

羊老羊 536

强化学习和智能决策:Q-Learning和Deep Q-Learning算法

Q-Learning和Deep Q-Learning是强化学习中的两种重要算法,它们在智能决策领域具有广泛应用。Q-Learning通过迭代更新Q值来逼近最优策略,适用于状态空间和动作空间较小的问题。而Deep Q-Learning则使用深度神经网络来估计Q值,能够处理更复杂的问题,如高维状态空间和连续动作空间。通过不断的研究和应用,这些算法将在更多领域展现出其强大的智能决策能力。

BugNest的博客 1042

《Neural networks and deep learning》概览

最近阅读了《Neural networks and deep learning》这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章《Improving the way neural networks learn》,涉及深度神经网络优化和训练的各种技术,对第三章做了详细的笔记(同时参考了其他资料,以后读到其他相关的论文资料也会补充或更改),欢迎有

wepon的专栏 3万+

深度学习的深度和宽度的理解

文章目录1. 深度1.1 为什么加深可以提升性能1.1.1 更好拟合特征1.1.2 网络更深, 每一层要做的事情也更加简单1.2 如何定量评估深度与模型性能1.2.1 直接法1.2.2 间接法1.3 加深就一定更好吗?1.3.1 加深带来的优化问题1.3.2 网络加深带来的饱和2. 宽度2.1 为什么需要足够的宽度2.2 网路到底需要多宽2.2.1 网络宽度的下限在哪?2.2.2 网络宽度对模型性能的影响2.2.3 网络宽度和深度哪个更重要?2.3 如何更加有效地利用宽度2.3.1 提高每一层的通道的利用率

星空下 1万+

《Wide & Deep Learning for Recommender Systems 》笔记

看到Deep Learning能用在推荐一下子两眼放光。 论文的场景是Google Play的推荐。效果有一点。TensorFlow也有现成的API,可以尝试一下,感觉有希望。

ACM 【程式=演算法+資料結構】@蜡笔小轩V 2万+

为什么深层神经网络难以训练_图神经网络越深,表现就一定越好吗?

编译 | 陈彩娴编辑 | 丛 末数十层甚至数百层神经网络的应用,是深度学习的重要标志之一。但现实情况却远非如此:比如今年被视作机器学习领域最火热的研究方向之一——图神经网络,大多数都只运用了寥寥几层网络。一般思路里,我们会认为图神经网络越深,效果就会越好。然而,日前帝国理工学院教授Michael Bronstein 发出了灵魂拷问:图神经网络的深度,真的会带来优势吗?“深度图神经网络”是否被误用了...

weixin_39833454的博客 1291

Deep learning in graph clustering 论文两篇

1. Learning Deep Representations for Graph Clustering论文信息:Tian, Fei, et al. “Learning Deep Representations for Graph Clustering.” AAAI. 2014.来自微软亚洲研究院,这是最早将深度学习应用于图聚类问题(graph clustering)的文章。论文的思路非常简单,首

DawnRanger的专栏 5028

《CMU 10-414 deep learning system》学习笔记

原文首发于个人博客:《CM

西瓜地 1858

为什么我们要Deep Learning?

为什么我们要deep learning? 你可能很直接说,这个答案很简单啊。因为越deep,performance就越好。 下面是一个很早年的一个实验(2011), Interspeech里面的某一篇paper 你会发现越来越deep以后,它的performance ,error rate就越来越低。 但是如果你稍微有一个ML的常识的话,这个结果并没有让你太surprise,因为本来model越多的parameter它cover的function set就越大,它的bias就越小,如果你今天有够多的tra

与或 933

机器学习5 -- 为什么深度学习需要加深?

很早以前就有人研究过模型加深加宽的作用。由上图可见,随着模型越深,错误率逐步下降。这个其实很好理解,可能有人会问,模型加深带来了模型参数量的提升,有助于bias降低。通过增加训练数据和各种正则,可以降低variance。从而降低整体的误差。

谢杨易的博客 1万+

Deep Learning 学习笔记 第一篇

一、声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2)本文转自别人的博客,若有侵权,请联系删除,谢谢!!!原文来自一下链接: http://blog.youkuaiyun.com/zouxy09/article/details/87753603)只是在这里列出来一些自己需要的主要信息。4)详细的请看原

JJWei Blog 944

Android-DeepLearning:结合android平台和深度学习,做一点有意思的东西

zeal-doc 平时学习-工作总结,有两个方向: 其一是Android开发方向 其二是Linux平台开发方向,包括Opencv图像处理,深度学习框架Tensorflow使用,C/C++,python开发 ImgProc-c++是一个c/c++工程,主要是结合opencv和tensorflow进行一些图片处理 ImgProc-python是图片处理的python实现 tensorflow目录是python工程,主要是使用python对深度学习框架tensorflow进行研究和开发 Android开发在windows平台,其它的则在linux平台(ubuntu18)

FAST-LIO2实战:如何在无人机上部署并实现厘米级定位(附ROS配置全流程)

本文详细介绍了如何在无人机上部署FAST-LIO2激光雷达惯性里程计系统,以实现厘米级精确定位。内容涵盖从硬件选型(如激光雷达与机载计算机)、软件环境配置(ROS Noetic)、传感器标定,到FAST-LIO2参数调优、与PX4飞控集成以及实际飞行测试的全流程。重点解决了实时定位中的外参标定、数据同步等关键问题,为无人机在无GPS或复杂光照环境下提供稳定可靠的定位解决方案。

weixin_29062865的博客 251

吴恩达课程《Deep Learning Specialization》

在coursera上,

YMWM_的博客 815

【深度强化学习】(2) Double DQN 模型解析,附Pytorch完整代码

Double DQN 算法是 DQN 算法的改进版本,解决了 DQN 算法过估计行为价值的问题。Double DQN 算法不直接通过最大化的方式选取目标网络计算的所有可能 Q 值,而是首先通过估计网络选取最大 Q 值对应的动作。在 Double DQN 框架中存在两个神经网络模型,分别是训练网络与目标网络。这两个神经网络模型的结构完全相同,但是权重参数不同;每训练一段之间后,训练网络的权重参数才会复制给目标网络。

博观而约取,厚积而薄发 1万+

对Q-Learning算法的改进:Deep Q-Learning(DQN)

本篇主要讲述Q-Learning的改进算法,Deep Q-Learning,首先了解一下Q-Learning算法咯 Q-Learning算法 众所周知,Q-Learning是解决强化学习问题的算法。解决强化学习问题用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习主要有三个因素:状态,行动和奖励。简单来说主要解决在一个环境下,智能体采取...

m0_37663944的博客 5890

使用RepeatModeler和RepeatMasker注释基因组重复序列

重复序列注释有两种常用策略,基于同源序列相似性和基于重复序列结构特征。RepeatMasker是基于同源序列相似性注释序列的常用工具, RepeatModeler可用来从头对基因组的重复序列家族进行建模注释,它的核心组件是RECON和RepatScout。 这篇教程介绍如何使用RepeatModeler从头鉴定基因组的重复序列,之后用RepeatMasker根据自...

xuzhougeng blog 8854

【EMC专题】为什么芯片规格书ESD性能中看不到MM(机器放电模型)

器件级ESD包括三种类型,HBM人体放电模型、MM机械放电模型和CDM元件充电模型。但在芯片规格书中为什么只见到HBM模型与CDM模型,却没有看到MM模型的数据?

一点硬件 450

【5分钟 Paper】Continuous Control With Deep Reinforcement Learning

论文题目:Continuous Control With Deep Reinforcement Learning 所解决的问题? 背景 所采用的方法? 取得的效果? 所出版信息?作者信息?   这篇文章是ICLR2016上面的一篇文章。第一作者TimothyP.Lillicrap是Google DeepMind的research Scientist。   Research focuses o...

小小何先生的学习之旅 1499

RT-Thread精通PM功耗调优 - Tickless篇

背景 让别人的思想装到自己的脑袋里,这不仅需要威逼利诱,还需要讲清楚原理。喜欢才能接受。 功耗基本的调试手段,估计前面讲了很多,或许只有少数人群可以接受。 更有极少的人,了解了整个功耗管理的体系、原理,愿意接受这样的【安排】。 这里的功耗调优思路,其实只是解决功耗问题的一种思路,并不是框架。 解决问题,自古以来,都是千奇百怪,秒在【奇】。 介绍 本篇介绍下Tickless的工作原理。 Tickless 可以理解为:tick-less,tick or little tick。 tick定.

坚韧与专注 1529
上一篇: 台大李宏毅--CNN
下一篇: Semi-supervised Learning ;半监督学习
丁磊_Ml
博客等级 码龄11年 95粉丝 139原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值