a131529的博客

Transformer 网络（Tensorflow实现、Pytorch实现）；Transformer 网络应用: 命名实体识别（NER）；Transformer 网络: 问答（QA）

神经机器翻译；触发词检测模型

词向量上的一些操作；Emoji表情生成器

一步步构建你的递归神经网络；字符级语言模型-恐龙岛；用LSTM网络即兴演奏爵士独奏

人脸验证；人脸识别；风格迁移

自动驾驶-汽车检测；基于U-Net的图像分割

序列模型介绍

使用残差神经网络进行手势分类；使用MobileNetV2进行迁移学习

一步步搭建CNN模型；使用TensorFlow构建CNN实现微笑识别及手势数字识别

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇第一周 卷积神经网络第二周 深度卷积网络：实例探究第三周 目标检测第四周 特殊应用：人脸识别和神经风格转换

1.目标：减少偏差和方差减少可避免偏差：确保算法能很好地拟合训练集。减少方差：确保模型在训练集上表现良好的同时，能够推广到开发集和测试集。2.可避免偏差和方差的分析可避免偏差：通过训练误差和贝叶斯错误率之间的差距来估计。较小的差距表示偏差问题较轻，算法在训练集上的优化空间较大。方差：通过训练误差和开发误差之间的差距来衡量。如果差距较大，说明模型有过拟合问题，无法很好地推广到新数据上。3.减少可避免偏差的策略增加模型规模：使用更大的神经网络，提高模型的学习能力。延长训练时间。

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇-优快云博客。

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇-优快云博客动量法通常有帮助，但考虑到小的学习率和简单的数据集，其影响几乎可以忽略不计。此外，成本函数中出现的大幅振荡是因为某些小批量数据对于优化算法来说更难处理。另一方面，Adam显然优于小批量梯度下降和动量法。如果你在这个简单的数据集上运行模型更多的周期，三种方法最终都会得到很好的结果。然而，正如你所看到的，Adam的收敛速度明显更快。

您将使用一个3层神经网络（已经为您实现）。下面是你将要尝试的初始化方法：零初始化——在输入参数中设置‘ initialization = ’ Zeros ‘ ’。随机初始化——在输入参数中设置‘ initialization = " Random " ’。这将权重初始化为较大的随机值。——在输入参数中设置' initialization = " He "。这将权重初始化为根据He等人2015年的论文缩放的随机值。

假设你要构建一个用户可以上传大量图片的应用程序，目的是找出并呈现所有猫咪图片，可能你的用户都是爱猫人士，训练集可能是从网上下载的猫咪图片，而验证集和测试集是用户在这个应用上上传的猫的图片，就是说，训练集可能是从网络上抓下来的图片。而验证集和测试集是用户上传的图片。结果许多网页上的猫咪图片分辨率很高，很专业，后期制作精良，而用户上传的照片可能是用手机随意拍摄的，像素低，比较模糊，这两类数据有所不同，针对这种情况，根据经验，我建议大家要确保验证集和测试集的数据来自同一分布。

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇-优快云博客。

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇-优快云博客。

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇-优快云博客return s只能处理标量，无法对列表或数组进行逐元素计算，因此会报错。

当我们使用传统的算法去完成一项机器学习任务时，不难发现，随着数据规模的不断增大，算法的性能就会从上升趋势逐渐变得扁平，也即这些传统算法不知道如何处理规模巨大的数据，或者说对于如此大规模的数据，传统的机器学习算法已经无法满足我们日益增长的美好需要了。的“2 神经网络发展史”模块，我们详细介绍了神经网络的3个周期（3次兴起和2次低谷），我们知道深度学习和神经网络之前的基础技术理念已经存在大概几十年了，为什么它们现在又突然流行起来了呢？格式的数据，它们部分有结构，但内容仍然包含非结构化的文本信息。

从宏观上来讲 DeepLearning.ai 理论化内容要弱一点，偏重实际应用，而之前的机器学习由于是面向斯坦福学生的课程，所以理论深度要深一点。总体来说两门课程都很值得去刷刷，入门的话可以从DeepLearning.ai 的头三门课程开始，想补一补基础理论可以从机器学习课程开始。

1）神经网络的数学推导、神经网络的TensorFlow代码。问题：畅销品预测、图像感知、手写数字识别、烤咖啡豆。2）神经网络的编译和训练、损失函数、激活函数、Softmax多分类、Adam算法、反向传播3）拆分原始数据集、误差和偏差、误差分析、数据增强/合成数据、迁移学习、倾斜数据集4）决策树：熵(纯度)、信息增益、回归树。决策树集合：袋装决策树、随机森林、XGBoost。

1）无监督学习、聚类、K-means算法、异常检测2）推荐机制、协同过滤算法、基于内容过滤、PCA主成分分析3）强化学习、贝尔曼方程、DQN算法、火星车探测/登月器

由于本人在学习该门课程时已经具备了一些ML、DL方面的基础知识，因此为了避免记录冗余知识，节约时间，本文仅在前人笔记的基础上记录一些对本人而言较为重要的知识点（相当于查漏补缺吧，hh）且吴恩达老师的课程教学基于tensorflow，但学术界目前最常使用的还是pytorch（本人经常用的也是pytoch），因此本笔记仅记录理论知识，不涉及具体的代码实现。

1）有监督学习示例、无监督学习示例、线性回归模型、代价函数、梯度下降法2）多元线性规划、特征缩放、学习曲线、设置学习率、特征工程3）逻辑回归(分类问题)、决策边界、过拟合、正则化