李宏毅2022ML第四周课程笔记

最新推荐文章于 2023-08-08 00:49:05 发布
原创 最新推荐文章于 2023-08-08 00:49:05 发布 · 275 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #神经网络 #lstm

本文介绍了自注意力机制在处理序列数据方面的优势，详细解释了自注意力机制的工作原理，包括多头注意力机制及其潜在的问题，并对比了自注意力机制与CNN、RNN的区别。

目录

李宏毅2022ML第四周课程笔记——自注意力机制

为什么引入自注意力机制？

Self-Attention的具体机理

多头注意力机制

位置编码

CNN vs self-attention

RNN

为什么RNN会有奇特的特性

为什么rnn很难使用？

为什么我们把rnn换成lstm？

LSTM

李宏毅2022ML第四周课程笔记——自注意力机制

为什么引入自注意力机制？

         因为之前rnn的使用，我们可以看到是对于序列数据输入的处理，但它不能实现并行处理，只能当上一时刻的输入处理完成才能继续下一步，同时我们希望能对于一长串的vector同时进行处理。

         自注意力机制就是这样一种能对一串vector同时处理输出若干序列的方法,同时FC会考虑整个vector集合的属性。

Self-Attention的具体机理

         首先我们对于每个输入ai都会分别乘3个不同的weight得到qi、ki、vi，然后通过a1的q1和其它ai的qi计算关联性得到a1i，将所有的a1i通过softmax层之后与对应的vi相乘得到b1，其它为重复过程。

<

最低0.47元/天 解锁文章
李宏毅2020机器学习课程笔记（一）- 分类与回归
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
[2022]李宏毅深度学习与机器学习课程内容总结
weixin_45920982的博客
12-03 3277
没有想到自己可以完整的看完李宏毅老师的深度学习课程，并且坚持做笔记，这里给自己鼓掌。李宏毅老师讲课风格幽默有趣，让人可以全神贯注的听课。老师讲的课程内容注重基础的同时结合了很多最近几年的论文，非常有深度，让人眼前一亮。整体听完感觉自己收获了很多，所以在这里总结一下课程涉及到的知识内容。
李宏毅2022《机器学习/深度学习》——学习笔记（1）
dotJunz的博客
10-03 1042
hyperparameters：机器学习中自己设定的参数，比如学习速率。weight: w（权重：与 feature 相乘的）如下所示是一个简单的 Model。优化下面函数，获得较好的参数值。模型就是带有未知参数的函数。bias: b（偏置）
2022李宏毅机器学习深度学习学习笔记--第一周
qq_45612705的博客
04-18 2083
机器学习的基本概念： 机器学习（Machine learning）：即让机器具备找函式的能力。 不同的函式类别： Regression：函式输出结果为数值 Classification：从设定的选项中选出一个类别当做输出 Structured learning 那么机器如何找一个函式？ 步骤1.写出一个带有未知参数的函式。 步骤2.定义一个loss（一个function，L(b,w),输入为b,w; 输出未知参数的值好不好）。 例如： 步骤3.Optimization（最佳化的问题，找w,b
[2022]李宏毅深度学习与机器学习第十五讲（必修）-Meta Learning
weixin_45920982的博客
12-03 785
1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。 2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。 3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。工业界和学术界寻找超参数的方法并不相同。Meta Learning就是让机器去学习如何调参数。 Meta learning 也是三部曲，寻找方程定义损失，优化。 有一系列的训练任务 所有任务的Loss相
李宏毅《机器学习2022》笔记
weixin_44298961的博客
10-12 2268
李宏毅《机器学习2022spring》笔记
李宏毅老师2022机器学习课程笔记 01 Introduction of Deep Learning
124974的博客
04-02 2398
01 Introductionof Deep Learning 机器学习相关规定 什么是机器学习 机器学习的概念 我觉得李老师讲得非常好的一点就是，他真正说清楚了机器学习中的一些因果逻辑。 比如我之前在网络上查阅过一些资料，他们在介绍机器学习时，很多时候上来就说机器学习“是机器学习过去的经验”、“模仿人类学习”等等，但是看了这些解释之后对机器学习是什么还是没有一个清晰的概念。按照我个人对李老师课程的理解，这个的因果关系是有些问题的，可能在最初设计这些模型的时候，学者门只是从数学的角度，探索一种解决问题的方法
精选资源
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，...第四章 中文 英文 未更新 第五章 中文 第六章 中文 第七章 中文 第八章 中文 第九章 官网暂未更新 HomeWork部分 路径：machineLearningDeepLearning/homework
机器学习李宏毅学习笔记1
weixin_46722934的博客
05-04 610
学习李宏毅老师机器学习
李宏毅2022《机器学习/深度学习》——学习笔记（2）
dotJunz的博客
10-05 765
机器学习模型中一般有两类参数：一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。还有一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。这里引入了新的概念 batch，将总的训练集随机划分成一个个 batch，用每一个 batch 计算一个 Loss，计算梯度，更新一次。激活函数可以嵌套，把上一层激活函数的结果作为下一层激活函数的输入，这样函数的未知参数就会更多了，模型也更加复杂。
【李宏毅2022机器学习】笔记一：ML/DL框架；反向传播；回归；Pytorch使用
一亿少女的梦
03-16 1959
李宏毅2021/2022春机器学习课程 目前进度P15Regression
李宏毅2022ML第五周课程笔记
snajdansa的博客
11-03 361
李宏毅机器学习第五周—sequence to sequence
李宏毅2022机器学习笔记
Ensoleilef的博客
08-08 613
GAN包含有两个模型，一个是生成模型（generative model），一个是判别模型生成模型的任务是生成看起来自然真实的、和原始数据相似的实例。判别模型的任务是判断给定的实例看起来是自然真实的还是人为伪造的（真实实例来源于数据集，伪造实例来源于生成模型）。G和D构成了一个动态的“博弈过程”
机器学习笔记（李宏毅2022）-机器学习基本概念
qq_42472662的博客
08-20 982
设计一个机器学习模型的步骤
2022-机器学习(李宏毅)视频笔记(一)
weixin_44218106的博客
02-25 678
李宏毅2021/2022春机器学习课程-哔哩哔哩 Machine Learning = Looking for Function 着重于Deep Learning
【李宏毅2022机器学习】笔记三：Logistic Regression
一亿少女的梦
03-18 2049
用作分类问题的逻辑回归模型
李宏毅2022ML第六周课程笔记
snajdansa的博客
11-09 266
李宏毅2022ML第六周课程笔记 GAN(生成对抗网络)
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Introduction
热门推荐
知不足而奋进，望远山而前行
12-10 2万+
这一步骤在 Deep Learning 中通常表现为建立Model。比如，建立了一个3层的全连接网络，每一层是由线性层+ReLu激活函数构成的，这就是我们定义的函数表达式。在每一个线性层中，都有未知的参数 w 和 b损失函数的值代表了真实值与预测值之间的差距，通常来说，损失函数值越小，代表模型的预测就越接近真实值。常用的损失函数如下图所示：MAE、MSE 等案例介绍已知2017年-2020年的播放量数据，通过已知的数据，训练一个模型（拟合一个函数），预测未来的播放量思路分析建立参数未知的函数表达式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想的小鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值