weixin_43957565的博客

课程8是和梯度下降法不同的另一种解决无约束问题的算法——牛顿法和梯度下降法一样，牛顿法也是寻找导数为0的点，同样是一种迭代法。核心思想是在某点处用二次函数来近似目标函数，得到导数为0的方程，求解该方程，得到下一个迭代点。因为是用二次函数近似，因此可能会有误差，需要反复这样迭代，直到到达导数为0的点处。参考：https://zhuanlan.zhihu.com/p/37588590做泰勒展开，得到近似的二次函数机器学习classificationbinary classification 里pe

课程7讲述了三种不同的 BCGD 块坐标梯度下降法 block coordinate gradient descent首先是BCGD with Gauss-Southwell Rule参考：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFD8589&filename=GXKZ198502004&uniplatform=NZKPT&v=kAy_09s4xduVf2tCPLg1XCMMO

课程6还是针对无约束凸优化问题的主要有两种算法，一种是坐标下降法，另一种是块坐标下降法参考：https://zhuanlan.zhihu.com/p/59734411

课程5介绍了一些无约束优化的算法确定下降方向d（or d_k）是算法的核心，不同算法的收敛效果不同。首先是基于梯度的算法回顾上一课程内容，当满足时d就是下降方向。（要清楚如果光 有d是下降方向是不能得出上面图片这个公式的，需要满足f是凸函数）根据Cauchy-scwarz inequality可得d_k≥负梯度，所以下降方向取负梯度方向（证明看5P5）。怎么理解负梯度就是下降方向？-如果单调上升，梯度为正，负梯度为负->x应减少；如果单调下降，梯度为负，负梯度为正->x应增

课程4接下来就开始学习具体的问题和解决问题的算法了~首先是无约束问题 unconstrained problems之前学习的回顾，什么是凸集、凸函数、局部最优解参考：https://blog.youkuaiyun.com/qq_16608563/article/details/827570861. 无约束问题的最优性条件 optimality condition for unconstrained problems所谓非线性规划的最优化条件，是指非线性规划模型的最优解所满足的必要条件或者充分条件。无约束

课程3主要学习convexity相关知识点。首先是凸优化理论。有几个概念：凸组合 convex combination和凸集没关系，就记“线性组合，系数和为一”。凸包 convex hull一些元素的“所有”凸组合的集合就是凸包proper凸组合之前的凸组合只是系数和为1，系数≥0。现在要求系数不为0不为1极点extreme point极点是凸集的元素，但是其他的点可以由凸集中的任意两个点的严格（proper?）凸组合表示出来，而极点不行，只有要求一个系数为1和

首先是一些基础概念和凸性的理解；然后是无限制优化模型及解决无限制优化模型的方法；再然后是有限制的优化模型以及有限制优化模型的解决方法；最后是分布式优化distributed optimization，对于分布式学习distributed learning和联邦学习federated learning的理解。课程1：数据科学家的目的：建立好的模型，用近似算法工具来解决模型。模型本身是对事物的抽象，而事物之间的relationship的抽象可以由数学表示出来：比如代数运算、函数、导数运算等等。所以有