学习笔记：机器学习优化算法之牛顿法、拟牛顿法

萌龙如我们

已于 2022-08-05 17:26:50 修改

阅读量769

点赞数

分类专栏：机器学习文章标签：算法机器学习

于 2022-08-03 23:28:41 首次发布

本文链接：https://blog.youkuaiyun.com/qq_44635691/article/details/126148283

版权

机器学习专栏收录该内容

15 篇文章

订阅专栏

活动地址：优快云21天学习挑战赛

1 简介

牛顿法也叫牛顿迭代法，它是一种求根算法，也可以求函数的极小值。它的基本思想是在现有极小点估计值附近对f(x)做二阶泰勒展开，找到下一个极小点，继续迭代的过程。

2 牛顿法原理

输入：目标函数f(x),函数梯度为 $f'(x)$ ,计算精度 $\varepsilon$

输出：f(x)的零点 $x^{*}$

(1)选出初始值 $x^{(0)}$ ,k=0；

(2)计算 $f(x^{(k)})$ 和梯度 $\large \nabla f(x)$ ;

(3)带入迭代公式进行参数更新: $\large x^{(k+1)}=x^{(k)}-\frac{f(x^{k})}{\nabla f(x^{(k)})}$

推导该迭代公式

设第k次迭代点为 $\small (x^{(k)},f(x^{(k)}))$ ,过该点做曲线的切线，斜率则为 $\small f'(x^{(k)})$ ,进而可得到切线方程为：

$\large y-f(x^{(k)}))=f'(x^{(k)})(x-x^{(k)})$

接着求该曲线与x轴的交点坐标：

$\large 0=f(x^{(x)})+f'(x^{(k)})(x-x^{(k)})$

则交点的横坐标为新的迭代点的横坐标，整理得：

$\large x^{(k+1)}=x^{(k)}-\frac{f(x^{k})}{\nabla f(x^{(k)})}$

确定迭代次数或者精度；

(4）如果 $\large ||f(x^{(k+1)}||<\epsilon$ ,停止迭代，令 $x^{*}$ = $x^{(k+1)}$ ,输出结果；否则继续迭代。

实验部分：雷神之锤代码计算 $\frac{1}{\sqrt{x}}$

#include<iostream>
using namespace std;
//计算 1/((x)^(1/2))
float Q_rsqrt( float number ) {
	long i;
	float x2, y;
	const float threeHalfs = 1.5f;

	x2 = number * 0.5f;
	y  = number;
	i  = * ( long * ) &y;                       // evil floating point bit level hacking
	i  = 0x5f3759df - ( i >> 1 );               // What the fuck?
	y  = * ( float * ) &i;
	y  = y * ( threeHalfs - ( x2 * y * y ) );   // 1st iteration
//	y  = y * ( threeHalfs - ( x2 * y * y ) );   // 2nd iteration, this can be removed

	return y;
}
int main() {
	float x1=4;
	float x2=2;
	float x3=25;
	printf("%f",Q_rsqrt(x3));
	return 0;
}