机器学习笔记（一）

笔记内容主要基于Andrew的Stanford Machine Learning公开课，以及当前在学习的一本书《强化学习精要——核心算法与TensorFlow实现》。

第一讲《Machine Learning的学习动机和应用》

第一集视频前一半和我们上大学各专业课第一节课的流程类似，都是先讲一下课程的设置与要求，以及同学们提高的方向，第一部分其实大多数讲的还是应用问题。

1.Machine Learning 主要应用于无法直接写代码的地方（Some application that you can't program by hand），例如识别手写数字（草稿 -> 文档），读取邮编，还有Andrew最喜欢举的例子——倒立直升机等。

2先修课程：计算机基础（至少要知道O的定义），数据结构；

  最最重要的当然是数学（有时间插入一部分作为补充）

3.Matlab和Octave：Andrew推荐使用这两种工具进行Machine Learning的学习，因为美国知识产权保护，所以Octave被誉为免费版的Matlab，当然我们直接用Matlab就可以了。

4.课程网站：http://cs229.stanford.edu/，在这里面可以找到一些课程信息以及材料；以后有机会会收集一下这门课的课程设计供大家参考。

5.机器学习的简单定义（两种，个人认为没有太大必要了解）

 

后半部分讲到了课程的内容设置

1.Supervised Learning：讲了一个预测房价的回归问题 和 一个判断肿瘤的分类问题

线性回归或非线性回归（Regression）

两种形式的分类问题（Classfication）

2.Learning Theory

3.Unsuperviesed Learning：无标签的肿瘤分类，computer vision（这里介绍了一个把一张照片3D化的应用，it's so cool！），销售方面做到人群划分，EEG数据。比较着重讲解的一个应用是分离音频（独立组件分析ICA）。

无标签的聚类问题

通过聚类完成2D转3D

鸡尾酒聚会//无监督学习实现的ICA方法

4.Reinforcement Learning：主要应用在姿态的调整（机器人方面）。

通过强化学习实现的倒立飞行器

因为最近主要在学习强化学习方面的知识，所以在遇到关于强化学习的知识会多补充一点笔记。

强化学习，讲到最对多的是“巴普洛夫的狗”这个实验通过“摇铃铛”和“给食物”这样一种套路的组合，使得狗形成了摇铃铛==给食物这样一种思维关系。而强化学习就是这样一种套路，使得实验单位需要不断根据观测值做出一系列决策从而达到最优。

从两方面来讲，被实验的物体想要获得更多的回报，这相当于欲望，而我们则可以通过操纵这种欲望来实现我们的目的。说白了，动物杂技表演，表演越好，获得的食物越多，表演越差，则食物越少，这正是现实当中的强化学习实例。

强化学习和监督学习相比，强化学习更在乎长远收益。例如我们要到达一个目的地，而如果是监督学习，则走每一步都需要决策，极其死板，而强化学习只看重结果，这样就大大降低了我们定义问题的难度。