DeepLearning 吴恩达深度学习第三课笔记

最新推荐文章于 2025-12-31 15:46:29 发布
原创 最新推荐文章于 2025-12-31 15:46:29 发布 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文探讨了正交化在模型调整中的作用，确保每个调整只影响一个方面，介绍了训练集、开发集和测试集的划分策略，以及如何通过人工标记、错误分析和偏差/方差分析来改进模型，目标是接近贝叶斯最优误差。

orthogonalization

(正交化）

一个调整只带来一个方面的影响

 

评价标准

1 optimizing

n-1 satisficing

training set

dev set

test set

dev开发集和test测试集来自同样的分布

 

样本划分

小样本100～10000    70%~30% 或者 60%～20%～20%

大样本 1million    98%~1%~1%

不需要zhin

贝叶斯误差

贝叶斯最优误差：理论上的最优误差（通常用human-level error来估计）

 

模型表现不如人工识别时，可以通过一些技术改善：

1.人工标记

2.insight from manal error analysis

3.analysis of bias/variance

 

以贝叶斯误差为基准，分析偏差／方差大小，确定下一步优化方向

 

吴恩达深度学习课程第三课笔记——结构化机器学习项目
solejay
04-27 834
文章目录第三门课 结构化机器学习项目（Structuring Machine Learning Projects）第一周 机器学习（ML）策略（1）（ML strategy（1））1.1 为什么是 ML 策略？（Why ML Strategy?）1.2 正交化（Orthogonalization）1.3 单一数字评估指标（Single number evaluation metric）1.4 满足...
吴恩达《深度学习》第三课第二周笔记
u013093426的博客
07-14 1077
结构化机器学习项目——机器学习策略（2）一、误差分析1.性能上限：优化模型中的某个性能所减少的最大的误差。2.并行评估。对比多种导致误差的原因，通过分析错误标记的例子，统计假阳性（False positives）和假阴性（False nagatives）其在错误识别集中所占的比例，决定最终可选择的优化手段，同时在分析的过程中还可能受到启发发现新的问题类型。这种快速统计的过程可以经常做，只需要几个小...
吴恩达第一课第三周学习心得体会，含本周作业，
07-27
吴恩达第一课第三周学习心得体会（word版和pdf版），含有本周作业代码，在完成基本功能的基础上，探讨了三元分类问题的解决，并完成猫识别程序的移植！ 注意！！！之前有个资源叫“吴恩达第一课第三周作业及三元分类问题解决”，里面的代码缺少交叉三元分类问题的解决和猫识别的移植，建议下载本资源！！！
吴恩达深度学习（笔记+作业）·第三课·结构化机器学习项目·策略
猪猪的博客
08-22 1077
目录 一、正交化 二、单一数字评估指标 三、满足和优化指标 四、（设立 -- > 改变）训练集/开发集/测试集 五、人的表现和改善模型 六、进行误差分析 七、清除标注错误的数据 八、快速搭建第一个系统并进行迭代 九、在不同的分布上训练和测试 十、数据不匹配问题（收集更多的数据） 十一、迁移学习 十二、多任务学习 十三、端到端学习 作业 一、正交化 单独调整，调整的参数不要互相影响在不同数据集上的表现 二、单一数字评估指标 建议：将问题设置为一个单实数评估..
吴恩达机器学习笔记 第三课
u012009684的博客
01-22 188
局部加权回归 区别“参数”学习和“非参数”学习： 参数化学习：算法的目的是习得参数具体的值，参数的数量不变。 非参数化学习：参数的数量随数据量（线性）增大，相当于最终结果保存了训练集。 局部加权回归是一种非参数化学习，即保存训练数据，在预测新数据时，给接近输入的那些数据更高的权重，用它们来产生模型参数，再代入求解。 精确来说： 我们改变了代价函数，相较于普通的线性回归，加上了权重 如果比较小（x是要预测的数据），则上式接近于1。如果比较大，则上式接近于0。可见，只有接近的数据会被用来做预
吴恩达DeepLearning学习笔记 第五门课第一周
WaibiJiangzhi的博客
04-09 834
用softmax做输出，字典10000个单词那softmax也那么大（加上EOS和UNK 其实是10002个）并不共享学到的特征 比如Harry出现在两个位置，第一个位置学到是人名，到了第二个位置能不能反应过来。如果遇到不在字典里的单词，可以用unknown word（<UNK>）来表示不在字典里的单词。多一个额外的标记（Token） <EOS>来表示句子的结尾 句号可以选择做不做标记。有些人喜欢这样画，画成循环的样子，但其实这样挺难理解的。W_ax，a代表要求出的量是a，x代表后面乘的量是x。
吴恩达深度学习deeplearning第五课第三周课后测验及编程作业（含答案）
03-11
在本课程中，吴恩达教授的深度学习课程深入探讨了序列模型和注意力机制，这是深度学习领域中的重要概念，特别是在自然语言处理（NLP）和时间序列预测中。序列模型处理输入数据的顺序信息，而注意力机制则是一种增强...
吴恩达深度学习笔记：深度学习的 实践层面 (Practical aspects of Deep Learning)1.6-1.8
weixin_43597208的博客
04-23 1120
假设你在训练上图这样的神经网络，它存在过拟合，这就是 dropout 所要处理的，我们复制这个神经网络，dropout 会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得以保留和消除的概率都是 0.5，设置完节点概率，我们会消除一些节点，然后删除掉从该节点进出的连线，最后得到一个节点更少，规模更小的网络，然后用 backprop 方法进行训练。中的对应值为 1 的概率都是 0.8，对应为 0 的概率是 0.2，随机数字小于 0.8。
deeplearning.ai（吴恩达老师的深度学习课程笔记及资源）
05-08
第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第二门课 改善深层神经网络：超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and ...
吴恩达深度学习笔记：深度学习的 实践层面 (Practical aspects of Deep Learning)1.9-1.10
weixin_43597208的博客
04-28 1405
但如果特征值在不同范围，假如𝑥1取值范围从 1 到 1000，特征𝑥2的取值范围从 0 到 1，结果是参数𝑤1和𝑤2值的范围或比率将会非常不同，这些数据轴应该是𝑤1和𝑤2，但直观理解，我标记为𝑤和𝑏，代价函数就有点像狭长的碗一样，如果你能画出该函数的部分轮廓，它会是这样一个狭长的函数。实际上如果假设特征𝑥1范围在 0-1 之间，𝑥2的范围在-1 到 1 之间，𝑥3范围在 1-2 之间，它们是相似范围，所以会表现得很好。我们为什么要这么做呢？是一个向量，它的每个特征都有方差
吴恩达深度学习笔记
reno_yuan的博客
05-07 1849
你将学习本系列课程(专业): 神经网络和深度学习 改进深度神经网络:超参数调优、正则化和优化 构建你的机器学习项目吨/德 卷积神经网络端到端 自然语言处理:建立序列模型RNN,LSTM 我的目标 理解深度学习基本原理 常用算法 流程 常用术语 不求算术推导 不求算术推导 不求算术推导 使用深度学习框架 入门介绍 例1 房价预测模型 输入映射输出 监督学习有价值的 图像卷积序列 CNN 时间序列 语言序列 RNN RNNS 深度学习神经网络 数据量和质量处于第一序列胜过算法 算法主要加速学习速率如 si
吴恩达deep learning笔记第三课 结构化机器学习项目
qq_41708756的博客
08-03 701
第一周 机器学习（ML）策略（1） 1.什么是ML策略 当你想要提升正确率的时候，由许多许多方法可以尝试，如下图，但如果选择了错误的方法和方向，可能白费时间。 如果能通过策略判断哪种方法是有效的。这节课就是通过机器学习策略，指引朝着最有希望的方向前进。 1.2正交化 效率很高的专家思路很清晰，对于要调整什么，达到某个效果，非常清晰，这个过程叫做正交化。 正交化指的是希望一个参数只控...
吴恩达 coursera AI 第三课总结+作业答案
去向前方的博客
07-12 601
前言 吴恩达的课程堪称经典，有必要总结一下。 学以致用，以学促用，通过笔记总结，巩固学习成果，复习新学的概念。 目录 文章目录前言目录正文 正文 ...
吴恩达《深度学习》第三课第一周笔记
u013093426的博客
07-13 865
结构化机器学习项目——机器学习策略（一）一、为什么是机器学习（ML）策略我们在优化一个模型时可以从很多角度来着手，如下图，但是如果不分析清楚就一味地从某个方面莽撞前行会浪费大量的时间。二、正交化1.在深度学习中，需要调整的超参数非常多，而对于资深的深度学习专家而言，对于需要调整什么以达到什么效果是很明确的。2.正交化的定义：对于某个由多个维度决定的变量，如果各维度之间可以单独调整而不影响其余维度，...
Coursera 吴恩达 Andrew Ng，深度学习 deeplearning 答案
热门推荐
kurumi233的博客
02-12 1万+
   最近吴恩达的深度学习第五门课序列模型终于出来了，我抽了一些时间，刚刚完成了课程，不得不说，Ng的第五门课我还是很满意的，视频和作业都很不错，作业内容也很前沿，比如Emogify和trigger word detection，再加上我最近沉迷小爱同学，因此尤其对trigger word detection比较感兴趣233.准备抽时间用我的渣电脑搞一波自己的数据集并训练一波。  我也特地把Ng的...
Day44 简单 CNN 实战
W020419的博客
12-26 339
将卷积输出展平成向量，接 1~2 层全连接 + Dropout，输出 10 维 logits。：BatchNorm 稳定分布、Dropout 降低 co-adaptation。这些中间输出就是“特征图”，可借助 Grad-CAM 等方法做可视化解释。第 3 个卷积块：池化后得到 128×4×4，展平即 2048 维向量。第 1 个卷积块：保持尺寸，池化后得到 32×16×16；第 2 个卷积块：池化后得到 64×8×8；提取多尺度特征并逐步减小空间维度。
Day46
m0_70488789的博客
12-26 278
作业：手动构造类似的数据集（如cosx数据），观察不同的机器学习模型的差异。4. 经典机器学习在序列任务上的劣势；# DAY 46 序列预测任务介绍。b. 多步预测的2种方式。2. 序列数据的处理：滑动窗口。3. 多输入多输出任务的思路。
【深度学习新浪潮】本地文档总结引擎部署全攻略（二）：增量更新、自定义模板与实战汇报生成
最新发布
全网同名。更多请搜索wx公众号：浮游会。
12-31 128
基础系统的总结格式由固定，无法满足不同汇报场景（如周汇报、月汇报、项目总结）的需求。通过自定义Prompt模板，我们可以定义灵活的输出格式，支持模板变量（如文档名称、时间范围、汇报人）。在from llama_index . core . prompts import PromptTemplate from llama_index . core . query_engine import CustomQueryEngine # 定义常用汇报模板 REPORT_TEMPLATES = {
深度学习—卷积神经网络（2）
renjt01的博客
12-30 111
深度学习—卷积神经网络（2） 2.DNN与CNN的区别 3.卷积的数学定义 4.CNN的结构组成 卷积层 #人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值