说明 主要写下记录的一点儿笔记(以防白听啊!!)。由于他讲的是比较形象化的,所以记录时也是。 暂时只记录大纲: 第一堂 核心思想:大部分的机器学习问题都可以转换为优化问题。优化问题就可以用梯度下降进行求解。 分类问题的优化表示 正则项加入的形象说明 PCA以及Kmeans的优化问题表示 第二堂 投影梯度下降(PGD) 基础知识 Bregman divergence subdifferential Lipchitz continous 满足Lipchitz连续条件的梯度下降收敛速率的证明 满足smoothness的梯度下降收敛速率证明 第三堂 Bregman divergence对于两个常见函数的具体形式 满足strong convexity且Lipchitz连续的梯度下降收敛速率的证明 满足smoothness和strong convexity的投影梯度下降收敛速率的证明 随