Large Scale Machine Learning--An Engineering Perspective--目录

     第一部分 序言

     0.  引言

     1.  大规模机器学习平台的构成

     第二部分 算法部分

     2. 大规模机器学习常用开发范式

     2.1. BSP

     2.2. SSP (Bounded-Delay Algo)

     2.3. Asynchronous Update 

     2.4. Data Parallelism     

     2.5. Model Parallelism

    

     3.  有监督学习— 线性模型

     3.1. Logistic Regression

     3.1.1.  建模

     3.1.2.  并行化实施

     3.2. Support Vector Machine 

     3.2.1. 建模

     Linear Kernel

     Non-Linear Kernel 

     3.2.2. 并行化实施

 

     3.  有监督学习— 非线性模型

     3.1. Decision Tree

     3.1.1.  建模

     3.1.2.  并行化实施

     3.2. Gradient Boosted Decision Tree

     3.2.1.  建模

     3.2.2.  并行化实施

     3.3. Random Forest

     3.3.1.  建模

     3.3.2.  并行化实施

     4.  无监督学习— 聚类

     4.1. K-Means

     4.1.1.  建模

     4.1.2.  并行化实施

     4.2. 层次聚类

     4.2.1.  建模

     4.2.2.  并行化实施

     5.  无监督学习— 主题模型

     5.1. PLSA

     5.1.1.  建模

     EM算法介绍

     5.1.2.  并行化实施

     5.2. LDA

     5.2.1.  建模

     5.2.2.  并行化实施

     5.2.3.  大规模主题模型之观察(Peacock, LightLDA)

     6. 无监督学习 — Neural Network Based Model 

     6.1. word2vec

     6.1.1. 建模     

     6.1.2. 并行化实施

     6.2. 神经网络语言模型    

     6.2.1. 建模     

     6.2.2. 并行化实施

     第三部分 效果评估

     7.   Business-Independent指标     

     Precision/Recall/F1 Score/AUC/ROC

     8.   Business-Dependent指标

     CTR/CVR/RPM/BLEU

     第四部分 特征工程模块

     9.    特征归一化

     10.  特征离散化

     11.  特征组合

     

     第五部  前沿机器学习平台技术探讨

     12.  Parameter Server

     13.  GPU

     14.  Open-source 分布式机器学习平台观察

          Pettum/DMLC/Spark MLLib/GraphLab

     

     第六部分 总结

     15.  大规模机器学习平台研发工程师所需素养的思考

     16.  机器学习平台演化历程之我见

     行业各公司平台演化的观察

     17.  新平台搭建的思考