笔记 - 深度学习脉络整理：1.基础结构单元

最新推荐文章于 2024-11-28 17:54:42 发布
原创 最新推荐文章于 2024-11-28 17:54:42 发布 · 807 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇笔记深入探讨了深度学习的基础结构单元，包括全连接层、卷积层、反卷积、Pooling层以及激活函数等。此外，还讨论了激活函数的作用、损失函数的选择及其对网络训练的影响，同时提到了批量归一化（BN）和Batch Renormalization在优化网络训练中的作用。

资料：

深度学习基础课程
深度学习大讲堂 - 首期第三讲：深度学习基础

前置：

对深度学习基础知识有一定的了解，
进一步了解它们的内涵

概括图

在这里插入图片描述

基础结构单元
  • 所有op得知道是什么意思
    • 全连接层的op
    • 卷积层的op
    • …
激活函数
  • 为什么说激活函数是神经网络非线性性的来源
  • 激活函数的取值范围
  • 激活函数的导数
损失函数
  • 调整网络：
    • 调网络结构
    • 调损失函数
      • eg：给损失函数加权
  • 损失函数的物理意义
  • 损失函数的导数
网络训练
  • 误差反向传播算法
    • 如何做参数更新
最低0.47元/天 解锁文章
深度学习3---神经网络基本单元
weixin_45800653的博客
12-15 1362
1
干货丨深度学习架构
人工智能爱好者俱乐部
11-24 2401
作者：M. Tim Jones 连接主义体系结构已存在 70 多年，但新的架构和图形处理单元 (GPU) 将它们推到了人工智能的前沿。深度学习架构是最近 20 年内诞生的，它显著增加了神经网络可以解决的问题的数量和类型。本文将介绍 5 种最流行的深度学习架构：递归神经网络 (RNN)、长短期记忆 (LSTM)/门控递归单元 (GRU)、卷积神经网络 (CNN)、深度信念网络 (DBN)
DeepRL 强化学习方面脉络很清晰 内容很完整的介绍文档
06-13
强化学习方面脉络很清晰 内容很完整的介绍文档
复旦大学邱锡鹏教授：一张图带你梳理深度学习知识脉络
Datawhale
05-07 1869
Datawhale作者：邱锡鹏，复旦大学教授寄语：本文梳理了深度学习知识体系，分为机器学习、神经网络和概率图模型，同时对机器学习算法类型、深度学习原理框架等进行了梳理，帮助大家更好地...
深度学习脉络整理初稿
M.I.Lemon
12-19 1270
从感知机到深度学习（初稿）神经网络的提出机器学习需要解决的2大问题：回归问题 分类问题 回归问题：通过训练集学习函数y=g(x,w)中系数w,并使用y=g(x,w)来推断任一输入x所对应的输出值，输出值连续。 分类问题：通过训练集学习函数y=g(x,w)中系数w,并使用y=g(x,w)来推断任一输入x所对应的输出值，输出值离散。（对于二分类问题，一般为0或1） 不管回归或者分类，问题的
课堂听课-学生如何听课和做笔记.docx
02-26
在学习过程中，尤其是在涉及复杂概念和深入理解的学科如数学，听课和做笔记是学习的基础，也是确保学习效果的关键环节。良好的听课习惯和笔记技巧能够帮助学生有效地记录信息，整合知识，从而达到学习的目的。本文将...
杭州电子科技大学-计算机-考研-初试-复试-复习知识点总结.zip
06-08
7. 人工智能与机器学习：了解神经网络、决策树、支持向量机、深度学习等基础理论，以及在图像识别、自然语言处理等领域的应用。 8. 编译原理：词法分析、语法分析、语义分析、代码生成和优化等，是编译器设计的基础...
技术学习笔记整理：后端开发与自述文档规范
通过自述文件，用户可以快速了解每个模块的功能定位和技术背景，无需深入代码即可掌握整体架构与学习脉络。此外，项目强调“推荐的存储库格式”和“自带的自述文件”，表明其遵循了一套标准化的知识管理流程，可能...
《计算机科学概论》学习笔记与知识结构整理
《计算机科学概论》学习笔记.rar 所包含的内容是一套系统化、结构清晰的计算机科学入门学习资料，涵盖了计算机科学领域的基础知识体系。从标题“《计算机科学概论》学习笔记”可以看出，该资料旨在为初学者或希望...
【深度学习大讲堂】首期第三讲：深度学习基础 第一部分：基础结构单元
轮子去哪儿了
01-02 285
【深度学习大讲堂】首期第三讲：深度学习基础 第一部分：基础结构单元 卷积动态计算过程的链接：https://cs231n.github.io/convolutional-networks/ - 权重共享极大的减少了参数的数量，使得卷积计算更加高效，节约了存储权重的空间。 - img2col()将各个卷积核和输入特征子图转化为向量。 ...
深度学习发展的时间轴绘制图.vsdx
05-12
资源为本人使用Visio绘制的【深度学习发展的时间轴】。支持修改！详情可见https://blog.csdn.net/weixin_41171061/article/details/106039242
深度学习基础--units
wydbyxr的博客
11-07 1156
units   Bengio团队写的那本deep learning book 多次强调，深度学习乃至人工神经网络并不是按照生物神经网络来的。他们一直在竭尽全力的将工作与神经科学和生物学拉开距离。   在算法里，提到的应该是“单位/个体”（units），而非“神经元”。 ...
深度学习基本单元结构与输入输出维度解析
最新发布
AI 音频小牛的博客
11-28 2050
卷积神经网络（CNN）反卷积（转置卷积）循环神经网络（RNN）门控循环单元（GRU）长短期记忆网络（LSTM）全连接层。
一文读懂深度学习模型近年来重要进展（附梳理图）
数据派THU
04-04 2152
作者：丁铭，唐杰来源：微博“唐杰THU”本文共2200字，建议阅读5分钟。本文为大家梳理深度学习模型近年来的重要进展，文末附梳理图~唐杰老师学生帮忙整理的Deep Learning模型最近若干年的重要进展。有4条脉络，整理很不错。分享一下。track1 cv/tensor1943年出现雏形，1958年研究认知的心理学家Frank发明了感知机，当时掀起一股热潮。后来Marvin Minsky（人工智
【机器学习之深度学习】神经元、层的基本概念，神经网络以及神经元与线性回归和逻辑回归的相似之处
ya的博客
08-09 2466
神经元是深度学习模型的基本单元，它模拟人脑中的神经元。在数学上，神经元接收输入，通过权重和偏置进行转换，并应用一个激活函数来产生输出层是由多个神经元组成的集合，它在神经网络中执行特定的变换神经元和层是深度学习模型的核心组成部分，它们共同工作，使得深度学习能够处理复杂的数据和任务已构建了一个非常简单的神经网络已经探索神经元与线性回归和逻辑回归的相似之处
计算机网络 - 学习脉络
CarmenIsOK的博客
07-23 434
书籍：《计算机网络 自顶向下方法》 《TCP/IP详解 卷1：协议》 计算机网络主要指的就是TCP/IP协议栈 多问为什么？ 一、TCP/IP协议体系的认知 数据链路层、网络层（IP）、链路层（tcp、udp）处于内核态 应用层（DNS、ftp、https协议）处于用户区 层与层之间的透明性、传输是对等的 二、数据链路层 以太网帧的格式 MTU的概念 ARP协议和RARP协议（网卡地址MAC和I...
【火炉炼AI】深度学习001-神经网络的基本单元-感知器
weixin_33847182的博客
11-01 205
【火炉炼AI】深度学习001-神经网络的基本单元-感知器 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 ) 在人工智能领域，深度学习已经脱颖而出，越来越成为大型复杂问题的首选解决方案。深度学习相对传统机器学习的区别主要在于，使用模拟人类大脑的神经网络来构建模型。早期的浅层次神经网络也可以认...
深度学习发展历程全讲解
热门推荐
xiaotiig的博客
11-24 2万+
深度学习发展历程 的 地方 发
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值