Deep learning入门随记

已于 2023-04-11 16:03:48 修改
阅读量276 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Machine Learning 文章标签： 深度学习 人工智能
于 2022-11-01 22:41:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zjjaibc/article/details/127643000
本文介绍了深度学习的基础知识，包括神经网络的激活函数、梯度下降算法和反向传播的直观理解。此外，还探讨了优化深度神经网络的方法，如超参数选择、正则化（L2、Dropout）以及数据扩增和早期停止策略，强调了训练、开发和测试集的合理划分对模型性能的影响。

一、Part one神经网络和深度学习

1.A[1]矩阵，在横向方向上表示的是不同样本的切换，在纵向方向上表示的是不同layer层的切换。

右上角for loop代码可以向量化为下面四行代码（利用矩阵+b广播）

2.四个常用的激活函数(sigmoid\tanh\relu(retectified linear unit)\leaky relu)

3.激活函数的导数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Deeplearning-week01
luoLTL的博客
08-24 375
08/21周四开启的本周学习，加上已经落下了许多课程，前期学习目标较为繁多。浅层神经网络：生物神经元到单层感知器，多层感知器，反向传播和梯度消失神经网络到深度学习：逐层预训练，自编码器和受限玻尔兹曼机LeNet和AlexNet都是卷积神经网络（CNN）发展史上的里程碑式模型，它们分别代表了两个时代的突破。模型年份提出者应用场景意义LeNet-51998 年Yann LeCun（杨立昆）手写数字识别（MNIST）第一个成功的卷积神经网络，奠定了 CNN 基础结构AlexNet2012 年。
深度学习论文随记（一）---AlexNet模型解读
朝花&夕拾
07-13 5372
作者：teeyohuang 邮箱：teeyohuang@163.com 本文系原创，供交流学习使用，转载请注明出处，谢谢 深度学习论文随记（一）---AlexNet模型解读 ImageNet  classification with deep convolutional neural networks Author： A  Krizhevsky， I  Sutskever ， G
随记
pengjiren的专栏
02-21 208
2020.2 飞浆https://www.paddlepaddle.org.cn 新手入门¶ PaddlePaddle (PArallel Distributed Deep LEarning)是一个易用、高效、灵活、可扩展的深度学习框架 您可参考PaddlePaddle的Github了解详情，也可阅读版本说明了解新版本的特性 让我们从这里开始： 快速开始 当您第一次来到Pad...
我爱机器学习网深度学习类别文章汇总
wowdd1
08-13 1262
机器学习领域的几种主要学习方式 解密最接近人脑的智能学习机器——深度学习及并行化实现 5 deep learning startups to follow in 2015 How to run the Caffe deep learning vision library on Nvidia’s Jetson mobile GPU board Hacker’s Guide to Neural
书签收藏集
Link2Points的博客
12-19 1172
目录 GITHUB K8s 网站 工具 搜索引擎 文章 RPi 文档 待学 论文索引 平台 临时 Django API GPS MQTT Android 论文 疑难 毕 GITHUB guanguans/design-patterns-for-humans-cn: ???? Design patterns for humans 中文版 orico/www.mlcompendium.com: The Machine Learning & Dee
caffe随记（一）--- 目录简介
朝花&夕拾
08-03 792
caffe随记（一）--- 目录简介 我是Linux系统下的caffe，非windows版。文章主要记录一下自己的学习经历，权当抛砖引玉之用，欢迎各位不吝赐教。 一、目录图片 Caffe里有什么东西？ 上图是我的电脑中caffe目录的情况，我觉得作为入门小白还是来看一看各个文件夹里装得到底是啥？ 二、各个文件夹简介 ①build文件夹，用来存
深度学习干货贴
小水怪的博客
10-02 1694
1.IBM TrueNorth 类脑芯片突破，SNN 杀手级应用有望诞生 摘要：IBM 研究人员昨天在 PNAS 发文，报告他们训练卷积神经网络在 TrueNorth 处理器上分类图像和语音，精度接近目前最先进水平，每秒处理 1200~26... 2.反向传播算法入门资源索引 摘要：反向传播算法入门资源索引... 3.[导读]Learn Deep learning online 摘要：D
计算机控制技术课程解释与问题答疑
zhangrelay的专栏
09-09 7347
虽然这门课为计算机控制技术，但是这里的计算机是指微处理器或嵌入式系统。 课程以C51为主，但是目前主流的使用msp430，arduino，stm32等，可以自学这类芯片。 软件和硬件课堂学习只能理解原理，要想熟练应用需要大量锻炼，如软件需要海量编程， 硬件需要设计电路，只有如此才能真正掌握。 对于一个本体内部通信，有线常有串口、I2C、SPI和CAN等，无线有蓝牙、c1100、24L01等
机器人工程师学习计划
estun_hy的博客
07-29 1951
机器人工程师学习计划 YY硕 YY硕 机器人工程师 前言 很多朋友私信问我对机器人和人工智能感兴趣，该怎么展开学习。最近稍微有点空，我写写我的看法。 两年前，我在知乎回答如何定义「机器人」？ - YY硕的回答中试图给机器人做出一个比较仔细的定义，我觉得机器人和人工智能最大的区别在于是否要和物理世界进行交互。今年初在另一篇知乎回答里对机器人或人工智能的研究会帮助我们更好的了解人类自己吗？...
DeepLearning学习随记（一）稀疏自编码器
qq_44884619的博客
04-15 313
DeepLearning学习随记（一）稀疏自编码器
Deep Learning 学习随记（七）Convolution and Pooling --卷积和池化
qq_44884619的博客
04-17 267
Deep Learning 学习随记（七）Convolution and Pooling --卷积和池化
Deep Learning 学习随记（六）Linear Decoder 线性解码
zhoubl668的专栏：远帆，梦之帆！
04-30 4924
线性解码器（Linear Decoder） 前面第一章提到稀疏自编码器（http://www.cnblogs.com/bzjia-blog/p/SparseAutoencoder.html）的三层网络结构，我们要满足最后一层的输出：a（3）≈a（1）（即输入值x）的近似重建。考虑到在最后一层的a（3）=f（z（3）），这里f一般用sigmoid函数或tanh函数等非线性函数，而将输出界定在一
DeepLearning学习随记（五）Deepnetwork深度网络
zhoubl668的专栏：远帆，梦之帆！
04-30 6598
这一个多周忙别的事去了，忙完了，接着看讲义~ 这章讲的是深度网络（Deep Network）。前面讲了自学习网络，通过稀疏自编码和一个logistic回归或者softmax回归连接，显然是3层的。而这章则要讲深度（多层）网络的优势。 Deep Network： 为什么要使用深度网络呢？使用深度网络最主要的优势在于，它能以简洁的方式来表达比浅层网络大得多的函数集合。正式点说，可以找
深度学习1.4-pytorch安装
诚朴勇毅
12-05 98
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
云雾J视界的博客
12-04 932
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1190
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
Transformer 能否取代 CNN？图像去噪中的新范式探索
最新发布
dream_it_come_in的博客
12-08 566
引言：一场视觉任务的范式之争自 2017 年 Transformer 诞生以来，这场最初为自然语言处理设计的架构，正以不可阻挡的势头冲击计算机视觉领域。从 ViT 打破 CNN 在图像分类的垄断，到 Swin Transformer 横扫分割、检测任务，“Transformer 能否取代 CNN” 成为业界持续争论的焦点。而在图像去噪这一基础任务中，这一争论更具现实意义 ——CNN 凭借局部建模优势长期占据主导，Transformer 则以全局注意力机制带来新可能。
深度学习高级教程：基于生成对抗网络的五子棋对战AI
桃李不言下自成蹊
12-08 576
生活场景类比：生成对抗网络就像一个造假者和一个鉴宝师在互相竞争。造假者（生成器）试图制造假文物，鉴宝师（判别器）试图区分真假文物。随着时间的推移，造假者的技艺越来越高超，鉴宝师的眼光也越来越敏锐，最终造假者能制造出几乎以假乱真的文物。生成器（Generator）：生成假数据，试图欺骗判别器判别器（Discriminator）：区分真实数据和生成器生成的假数据"""残差块，有助于梯度流动和信息保留"""# 快捷连接，处理通道数变化if stride!
卷积神经网络（CNN）详细介绍及其原理详解（2）
renjt01的博客
12-05 154
卷积神经网络（CNN）详细介绍及其原理详解（2） 四、池化层 五、全连接层 六、输出层 #人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
开发随记
09-10
开发相关随记包含多个方面： - **软件开发**：在增加和设计较为庞大的程序时，要考虑程序结构设计，如解耦、层与层接口、模块之间关系、参数、ram、flash、运行速度等。还可学习了解aoutosar的分层结构。新的项目需...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Ocean__

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值