Stanford机器学习---第十五讲. 大规模机器学习

============Learning With Large Datasets============

1.数据为王

2.当M 很大时，梯度下降每一步的代价都很大。

若为左图，再添加更多数据没问题，但若为右图，则若想添加更多特征，先考虑

增加更多隐含层（神经网络）或增加更多特征，来解决HIGH BIAS问题。

==============Stochastic Gradient Descent=======================

1.BATCH Gradient Descent:每一步遍历所有数据，慢。。

.

2.每次仅FIT一个数据例子，逐次寻优。

3.注意：Stochastic Gradient Descent不一定收敛。但曲折后会渐渐在极小区域。

另REPEAT1-10次即可。  粉  VS   红

=============Mini-Batch Gradient Descent===================

1.

2.具体算法，此方法可VECTORIED 实现（并行实现）

=============Stochastic Gradient Descent Convergence========================

1.

2若每隔1000画出的不够平滑，则每隔5000画。若右下图，则减小学习率。

.

3.则减小学习率的方法

===================Online Learning==================================

1.使用神经或回归都行。

2.产品推荐

================Map Reduce and Data Parallelism============================

1.

2

3.

4.