ML2001-1 机器学习/深度学习 Introduction of Machine / Deep Learning

图片说明来自李宏毅老师视频的学习笔记，如有侵权，请通知下架

影片参考

【李宏毅】3.第一节 - (上) - 机器学习基本概念简介_哔哩哔哩_bilibili

1. 机器学习的概念与任务类型

• 概念：机器学习近似于寻找函数，用于处理不同类型的任务。
• 任务类型
  • 回归（Regression）：函数输出一个标量，例如预测 PM2.5 浓度。
  • 分类（Classification）：函数从给定的选项（类别）中输出正确的一个，如语音识别、图像识别、垃圾邮件过滤、围棋落子位置预测等。
  • 结构化学习（Structured Learning）：创建具有结构的内容，如图像、文档。

2. 寻找函数的方法

• 确定具有未知参数的函数：基于领域知识构建模型，包含权重、偏差和特征等参数。
• 从训练数据定义损失（Loss）
  • 损失是参数的函数，表示一组值的好坏程度。
  • 例如使用交叉熵（Cross - entropy）作为损失函数。
  • 通过分析 2017 年 1 月 1 日 - 2020 年 12 月 31 日的数据来定义损失。
• 优化
  • 使用梯度下降（Gradient Descent）算法，计算正负梯度以更新参数，朝着损失减小的方向优化。
  • 讨论了局部最小值和全局最小值问题，指出在大多数深度学习框架中，优化过程可以用一行代码实现。

3. 模型的局限性与改进

• 线性模型的局限性：以预测视频观看量为例，说明线性模型存在严重局限性，需要更灵活的模型。
• 改进方向
  • 增加特征和激活函数
    • 介绍了如何用分段线性曲线近似连续曲线，以及 sigmoid 函数及其相关操作（改变斜率、平移、改变高度）。
    • 提出新模型增加特征，如使用 Rectified Linear Unit (ReLU) 作为激活函数，并对比了不同激活函数和不同隐藏层数量的实验结果。
  • 深度学习模型
    • 多层神经网络（Neural Network），即深度学习，包含多个隐藏层。介绍了 AlexNet、VGG、GoogleNet、Residual Net 等网络结构及层数，并指出深度学习中 “深”（Many hidden layers）的特点。
    • 解释了为什么选择 “深” 网络而非 “胖” 网络，同时提到过度拟合（Overfitting）问题，即模型在训练数据上表现好，但在未见过的数据上表现差。

最后，文档提到下次将讨论模型选择，并给出了相关学习资源的链接，还介绍了反向传播（Backpropagation）是一种高效计算梯度的方法。

本課程介紹機器學習和深度學習的基本概念，並透過實際例子解釋如何利用機器學習來預測YouTube頻道的觀看人數。首先，機器學習是讓機器找出複雜函式的能力，並通過回歸分析和分類任務來實現。接著，課程詳細說明了如何定義損失函數並使用梯度下降法來優化參數，最終達到最小化損失的目的。透過不斷調整模型，能夠提高預測的準確性，並探討如何利用過去的數據來預測未來的趨勢。

幻灯片 2：机器学习的近似概念

• 表明机器学习≈寻找函数，并列举了语音识别、图像识别、下围棋等应用场景作为示例。

00:01 那我们就开始上课吧
00:04 那第一堂课啊是要简单跟大家介绍一下machine learning
00:09 还有deep learning的基本概念啊
00:12 等一下呢
00:13 会讲一个跟宝可梦完全没有关系的故事
00:17 告诉你机器学习
00:19 还有深度学习的基本概念好
00:23 那什么是机器学习呢
00:26 那我知我想必大家在报章杂志上
00:28 其实往往都已经听过机器学习这个词汇
00:32 那你可能也知道说啊
00:34 机器学习就是跟今天很热门的AI
00:38 好像有那么一点关联
00:41 那所谓的机器学习到底是什么呢
00:45 顾名思义好像是说机器它具备有学习的能力
00:50 那些科普文章往往把机器学习这个东西
00:54 吹得玄之又玄
00:56 好像机器会学习以后
00:57 我们就有了人工智慧
00:59 有了人工智慧以后
01:00 机器接下来就要统治人类了
01:03 好那机器学习到底是什么呢
01:10 可以用一句话来描述机器学习这件事
01:14 什么叫机器学习呢
01:16 机器学习就是让机器具备找一个函式的能力
01:22 那机器具备找函式的能力以后
01:25 他可以做什么样的事情呢
01:27 它确实可以做很多事
01:29 举例来说
01:30 假设你今天想要叫机器做语音辨识
01:33 机器听一段声音
01:35 产生这段声音对应的文字
01:37 那你需要的就是一个函式
01:40 这个函式的输入是声音讯号
01:43 输出是这段声音讯号的内容
01:48 那你可以想象说这个可以把声音讯号当作输入
01:52 文字当做输出的函式
01:54 显然非常非常的复杂
01:56 它绝对不是你只可以用人手写出来的方程式
02:01 这个函式它非常非常的复杂
02:04 人类绝对没有能力把它写出来
02:06 所以我们期待凭借着机器的力量
02:09 把这个函式自动找出来
02:12 这件事情就是机器学习
02:15 那刚才举的例子是语音辨识
02:18 还有好多好多的任务
02:20 我们都需要找一个很复杂的函式
02:24 举例来说
02:25 假设我们现在要做影像辨识
02:29 那这个影像辨识我们需要什么样的函式呢
02:32 这个函式的输入是一张图片
02:36 它的输出是什么呢
02:38 它是这个图片里面有什么样的内容
02:42 或者是大家都知道的阿尔法狗
02:46 其实也可以看作是一个函式
02:48 要让机器下围棋
02:50 我们需要的就是一个函式
02:52 这个函式的输入是棋盘上黑子跟白子的位置
02:56 输出是什么
02:57 输出是机器下一步应该落子的位置
03:02 假设你可以找到一个函式
03:04 这个函式的输入就是棋盘上黑子跟白子的位置
03:08 输出就是下一步应该落子的位置
03:13 那我们就可以让机器做自动下围棋这件事
03:17 就可以做一个阿尔法狗
03:20 而那随着我们要找的函式不同啊

幻灯片 3 - 4：不同类型的函数 - 回归

• 回归类型中函数输出一个标量，以预测明天的 PM2.5 为例，展示了其可能与今天的 PM2.5、温度、O3 浓度等因素相关。

03:23 机器学习有不同的类别
03:26 那这边介绍几个专有名词给大家认识一下好
03:31 第一个专有名词叫做regression
03:34 regression的意思是说
03:36 假设我们今天要找的函式
03:39 它的输出是一个数值好
03:43 它的输出是一个scale
03:45 那这样子的机器学习的任务
03:48 我们称之为regression
03:51 那这边举一个regression的例子
03:53 假设我们今天要机器做的事情
03:55 是预测未来某一个时间的pm2.5的数值
04:00 你要叫机器做的事情是找一个函式啊
04:03 这个我们用F来表示
04:04 这个函式的输出是明天中午的pm2.5的数值
04:10 它的输入可能是种种
04:12 跟预测pm2.5有关的指数
04:14 包括今天的pm2.5的数值
04:16 今天的平均温度
04:18 今天平均的臭氧浓度等等
04:20 这个函式可以拿这些数值当做输入输出
04:24 明天中午的pm2.5的数值
04:27 那这一个找这个函式的任务叫做regression
04:34 那还有别的任务吗
04:35 还有别的任务
04:37 除了regression以外
04:38 另外一个呃大家耳熟能详的任务呢叫做classification
04:45 那classification这个任务要机器做的是选择题哦
04:50 我们人类先准备好一些选项啊
04:53 这些选项呢又叫做类别
04:56 又叫做FS
04:57 我们现在要找的函式
04:59 它的输出啊
05:00 就是从我们设定好的选项里面
05:03 选择一个当做输出啊
05:06 这个问题这个任务就叫做classification
05:10 举例来说啊
05:11 现在每个人都有gmail com
05:14 那gmail com里面呢有一个函数
05:17 这个函式可以帮我们侦测一封邮件
05:20 是不是乐色邮件
05:22 这个函式的输入是一封电子邮件
05:26 那它的输出是什么呢
05:28 你要先准备好你要机器选的选项
05:31 在侦测垃圾邮件这个问题里面
05:34 可能的选项就是两个是垃圾邮件
05:37 或不是垃圾邮件
05:38 yes或者是NO
05:40 那机器要从yes跟NO里面选一个选项出来
05:45 这个问题叫做classification
05:48 那classification不止不一定只有两个选项
05:51 也可以有多个选项
 

05:54 举例来说
05:55 阿尔法狗本身也是一个classification的问题
06:00 那只是这个classification它的选项是比较多的
06:04 那如果要叫机器下围棋
06:06 你想追到阿尔法go的话
06:07 我们要给机器多少个选项呢
06:10 你就想想看棋盘上有多少个位置
06:14 让我们知道棋盘上有19×19个位置
06:18 那叫机器下围棋
06:19 这个问题
06:20 其实就是一个有19×19个选项的选择题
06:25 你要叫机器做的就是找一个函式
06:27 这个函式的输入是棋盘上黑纸和白纸的位置
06:31 输出
06:31 就是从19×19个选项里面
06:34 选出一个正确的选项
06:36 从19×19个可以落子的位置里面
06:40 选出下一步应该要落子的位置
06:44 这个问题也是一个分类的问题

亮點:
01:10 機器學習是一種讓機器具備自動找出函式能力的技術，能夠處理複雜的任務如語音辨識和影像辨識。這種技術的核心在於不需要人類手動編寫複雜的方程式，機器能自動學習。
       -語音辨識是機器學習的一個實際應用案例，機器需要找到將聲音訊號轉換為文字的函式。這個函式的複雜性遠超過人類能手動撰寫的範疇，因此機器的學習能力至關重要。
       -影像辨識同樣需要機器學習，機器需要識別圖像內容並找出合適的函式。這需要機器分析圖