【DataWhale-李宏毅深度学习】Task04深度学习介绍和反向传播机制

最新推荐文章于 2025-03-06 20:58:13 发布
原创 最新推荐文章于 2025-03-06 20:58:13 发布 · 260 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文概述了深度学习的发展历程，从早期的Perceptron到现代深度神经网络，强调了GPU的里程碑作用。介绍了深度学习的三个核心步骤：构建神经网络、模型评估用交叉熵、通过反向传播选择最优参数。

参考链接：https://datawhalechina.github.io/leeml-notes

文章目录

一、深度学习的发展趋势

回顾一下深度学习（deep learning）的历史：

  • 1958: Perceptron (linear model)
  • 1969: Perceptron has limitation
  • 1980s: Multi-layer perceptron
    • Do not have significant difference from DNN today
  • 1986: Backpropagation
    • Usually more than 3 hidden layers is not helpful
  • 1989: 1 hidden layer is “good enough”, why deep?
  • 2006: RBM initialization (breakthrough)
  • 2009: GPU
  • 2011: Start to be popular in speech recognition
  • 2012: win ILSVRC image competition

感知机（Perceptron）非常像我们的逻辑回归（Logistics Regression）只不过是没有sigmoid激活函数。09年的GPU的发展是很关键的，使用GPU矩阵运算节省了很多的时间。

二、深度学习的三个步骤

在这里插入图片描述

  • Step1：神经网络（Neural network）
  • Step2：模型评估（Goodness of function）
最低0.47元/天 解锁文章
LucyFang2020
关注
《深度学习》李宏毅 -- task4深度学习介绍和反向传播机制
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-22 389
深度学习的三个步骤，Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function）
2021-07 李宏毅机器学习打卡Task04：深度学习简介和反向传播(上)
qq_40258328的博客
07-18 346
Task04 深度学习简介和反向传播(上) 学习地址 李宏毅机器学习B站视频地址 李宏毅机器学习开源笔记地址 论坛版块 深度学习简介 深度学习的发展 感知机和逻辑回归类似，只是没有sigmoid激活函数 多层感知机MLP和全连接神经网络NN类似，少了激活函数 GPU的发展推动了深度学习 2012Alexnet转折点 Three Steps for Deep Learning Step1：定义function set即神经网络 神经网络中的每个节点，类似逻辑回归函数，不过激活函数不一定是sigm
GBDT算法梳理
xiu351084315的博客
04-07 1568
1、GBDT基础概念与理解分析 GBDT(Gradient Boosting Decision Tree)又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模...
GBDT算法
PanDawson的博客
03-19 4513
GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）的算法 GBDT简单来说，就是用多个树串联，提升模型的效果 以下是学习唐宇迪老师的GBDT算法的理解，文末有其他直接更详细的的关于GBDT算法的实现 回归树的形式是CART 即二叉树 使用回归树做分类和回归都...
gbdt算法_算法梳理五：GBDT
weixin_39656435的博客
11-30 284
真正开始动手写，才发现以前理解的不够深。弄懂一个算法，要想明白哪些问题？集合里有m个样本，n个特征，gbdt每棵回归树怎么构造（选取多少样本，多少特征），它的损失函数怎么拟合，残差是怎么回事，梯度在其中的作用。GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Re...
Datawhale × 李宏毅苹果书 AI夏令营-深度学习进阶 #AI夏令营Datawhale#夏令营第五期 Task1
2302_80421491的博客
08-25 978
一、该笔记分为两个个部分：一、局部极小值与鞍点二、批量和动量一、
入门Task3：《深度学习详解》（Datawhale X 李宏毅苹果书 AI夏令营）
K_ING_____的博客
08-27 1121
过拟合类型 关键概念 深度学习优化 以及 实例优化：波士顿房价预测
R语言编写的GBDT算法
03-15
R语言GBDT算法
GBDT算法（最简单）
程序猿进化梯
10-19 9315
https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/3.2%20GBDT/3.2%20GBDT.md 1. 解释一下GBDT算法的过程 GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。 1.1 Boosting思想 Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一
机器学习-GBDT算法
最新发布
m0_73426548的博客
03-06 1119
GBDT 通过梯度优化残差的机制，在结构化数据领域表现优异，是竞赛和工业界常用的算法之一。尽管存在训练速度和调参的挑战，但其改进版本（如 XGBoost、LightGBM）通过工程优化显著提升了效率，使其在实际应用中更具竞争力。
GBDT算法 (串行)
qq_43703185的博客
06-10 382
原文链接:https://blog.youkuaiyun.com/qq_40229367/article/details/88654293 GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）
机器学习技法-GBDT算法
weixin_30256901的博客
04-07 171
课程地址：https://class.coursera.org/ntumltwo-002/lecture 之前看过别人的竞赛视频，知道GBDT这个算法应用十分广泛。林在第八讲，简单的介绍了AdaBoost，这一讲会更深入的从优化的角度看AdaBoost，然后引出GBDT算法，最后林对最近几讲的集成学习模型（Aggregation Models）做了个很棒的总结。 一、Random...
GBDT(Gradient Boosting Decision Tree)算法介绍
故园稻香的博客
06-28 615
GBDT算法介绍
深度学习思想与理论精讲 - 李宏毅深度学习导向
深度学习理论涉及的知识点包括但不限于：前馈神经网络、激活函数、损失函数、反向传播算法、梯度下降优化方法、正则化技术、过拟合与欠拟合的处理、以及如何构建和训练深度学习模型等。 4. AI（人工智能）： AI指...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值