Optimization for Data Science学习笔记-7

课程7

讲述了三种不同的 BCGD 块坐标梯度下降法 block coordinate gradient descent
首先是BCGD with Gauss-Southwell Rule

参考：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFD8589&filename=GXKZ198502004&uniplatform=NZKPT&v=kAy_09s4xduVf2tCPLg1XCMMO5-eeeZIHGpwk-YnmbfxKz9bzI7rCnCh0pPeu7UL



对于稀疏结果的优化问题，Gauss-Southwell坐标轴选择是非常有效率的。

然后是随机块坐标轴梯度下降法

本来是随机选取坐标轴的，现在为了improve the rate，可以改进步