机器学习ML
关注
分享
扫一扫
文章平均质量分 82
李宏毅老师的课程笔记，链接如下
https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php
香菜菜菜菜子
这个作者很懒，什么都没留下…
展开
-
Lesson 18 Network Compression
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了Network Compression，包括为什么要压缩，压缩的主要手段（pruning,knowledge distillation,parameter quantization,architecture design,dynamic computation）原创 2024-05-14 21:01:47 · 696 阅读 · 0 评论 -
Lesson 17 Reinforcement Learning(RL)
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了强化学习Reinforcement Learning(RL).原创 2025-01-01 20:39:47 · 942 阅读 · 0 评论 -
Lesson 12 Self-supervised Learning for Speech and Image
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了Self-supervised Learning for Speech and Image，之前Lesson 11是讲的将Self-supervised Learning用在自然语言处理上。原创 2025-01-01 20:38:51 · 834 阅读 · 0 评论 -
Lesson 11 Self-supervised Learning for NLP: Bert+GPT
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要以Bert和GPT为例，讲授了self-supervised learning for NLP相关内容。原创 2024-10-21 18:42:43 · 865 阅读 · 0 评论 -
Lesson 10 GNN
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了生成式对抗网络（GNN）。原创 2024-11-28 15:21:17 · 721 阅读 · 0 评论 -
Lesson 9 Transformer
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了seq2seq model简介，以及应用，架构（包括encoder和decoder，encoder和decoder之间如何协作），怎样训练transformer，train 时的一些tips。原创 2024-04-02 22:01:57 · 1003 阅读 · 2 评论 -
Lesson 8 Batch Normalization
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了batch normalization是什么，为什么要用batch normalization，是用来解决什么问题的，以及batch normalization在测试和训练上不同的计算方法。原创 2024-04-01 21:29:33 · 582 阅读 · 0 评论 -
Lesson 7 Self-attention
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了self-attention的输入输出，内部架构和工作流程计算方法，以及介绍了更高阶的self-attention——muli-head self-attention，还有位置编码，self-attention的应用以及与其他网络的对比。原创 2024-04-01 16:57:16 · 890 阅读 · 0 评论 -
Lesson 6 Convolutional Neural Network(CNN)
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了CNN的适用范围，整体架构与工作流程，CNN的应用，CNN的缺点以及解决方法。原创 2024-03-09 16:07:08 · 817 阅读 · 0 评论 -
Lesson 5 Classification(short version)
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了回归和分类的区别，分类的过程，分类的损失函数。这节课比较简短。原创 2024-03-09 13:45:28 · 379 阅读 · 0 评论 -
Lesson 4 adaptive learning rate
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了变化学习率的必要性，几种变化学习率，加入Momentum的Optimization。原创 2024-03-05 11:06:35 · 311 阅读 · 0 评论 -
Lesson 3 when gradient is small
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了优化失败的原因，batch大小对训练的影响，使用Momentum方法来解决梯度下降时无法逃离critical point的现象。原创 2024-03-04 11:43:42 · 398 阅读 · 1 评论 -
Lesson 2 what to do if your network fails to train
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了遇到模型训练结果不好的时候该怎么快速判断哪里出了问题，以及部分的应对方法。原创 2024-02-28 11:41:30 · 363 阅读 · 0 评论 -
Lesson 1 introduction of machine /deep learning
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要介绍了什么是机器学习，机器学习的类型和流程，用一个现实中的例子详细地展示了整个工作流程。原创 2024-03-01 14:06:29 · 457 阅读 · 0 评论