吴恩达Machine Learning课程学习笔记4 无监督学习 推荐系统和强化学习（P101-113）持续更新

新年好哇！祝大家蛇年大吉！

本篇笔记是第三课（Unsupervised Learning Recommender Systems and Reinforcement learning 无监督学习 推荐系统和强化学习），本篇笔记是关于无监督学习,结合视频、ppt进行注释并补充笔记，欢迎交流学习，理解不到位的地方敬请指出，教程视频来自B站（P101-113）

https://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodeshttps://www.bilibili.com/video/BV1Bq421A74G/?buvid=Z14EDF1C5DBE11C64D4E9707BCEC62743AED&is_story_h5=false&mid=mmDXd2ZzgQLEUfEbFCZCCw%3D%3D&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1734580797&unique_k=NbdxkL0&up_id=1232187625&spm_id_from=333.788.videopod.episodes

---

前面的笔记对应吴恩达机器学习P1-100，即第一课（Supervised Machine Learning Regression and Classification监督机器学习 回归和分类）和第二课（Advanced Learning Algorithms高级学习算法）的内容，需要可查看，链接如下：

吴恩达Machine Learning课程学习笔记1 监督机器学习 回归和分类（P1-41）-优快云博客

吴恩达Machine Learning课程学习笔记2 高级学习算法（P42-87）_吴恩达最新课程-优快云博客

吴恩达Machine Learning课程学习笔记3 高级学习算法（P88-100）-优快云博客

---

完整版目录（含无监督学习、推荐系统、强化学习）

一、引入

1.1 （p101）引入：第三部分 无监督学习、推荐系统、强化学习

二、聚类算法

2.1 （p102）什么是聚类clustering

2.2 （p103）K-means的直观理解（K均值算法）

2.3 （p104）K-means算法

2.4 （p105）优化目标

2.5 （p106）初始化K-means

2.6 （p107）选择聚类的个数

三、异常检测算法

3.1 （p108）发现异常事件

3.2 （p109）高斯（正态）分布

3.3 （p110）异常检测

3.4 （p111）开发和评估异常检测系统

3.5 （p112）异常检测vs监督学习

3.6 （p113）选择要使用的特征

四、推荐系统

4.1 （p114）提出建议

4.2 （p115）使用每项特征

4.3 （p116）协同过滤算法

4.4 （p117）Binary labels-favs，likes and c

5.1 （p118）均值归一化

5.2 （p119）协同过滤的TensorFlow实现

5.3 （p120）查找相关项目

6.1 （p121）协同过滤vs基于内容的过滤

6.2 （p122）Deep learning for content-based

6.3 （p123）从大目录中推荐

6.4 （p124）推荐系统的道德使用

6.5 （p125）基于内容过滤的TensorFlow实现

五、强化学习

7.1 （p126）什么是强化学习

7.2 （p127）火星探测器示例

7.3 （p128）The Return in Reinforcement lear

7.4 （p129）强化学习中的决策与策略制定

7.5 （p130）回顾关键概念

8.1 （p131）状态动作值函数定义

8.2 （p132）状态动作值函数示例

8.3 （p133）Bellman方程

8.4 （p134）随机环境

9.1 （p135）连续状态空间应用示例

9.2 （p136）月球着陆器

9.3 （p137）学习状态值函数

9.4 （p138）算法优化-改进的神经网络结构

9.5 （p139）算法优化-贪婪策略

9.6 （p140）算法优化-小批量和软更新