小鹏AI

BP： 已知 y=relu(∣x∣−x3)y=relu(|x| - x^3)y=relu(∣x∣−x3)、x=[2−2]x = \begin{bmatrix} 2\\ -2\end{bmatrix}x=[2−2​]、▽y=[−11]▽y=\begin{bmatrix} -1\\ 1\end{bmatrix}▽y=[−11​]， 求▽x▽x▽x 求解步骤如下： 首先我们绘制一下BP图 由于x的值我们已知，所以，我们可以求出每一个支点处的值 由于已知▽y=[−11]▽y=\begin{bmatrix} -

问：y=f(x)在y=y∗的x∗=?y=f(x) 在y=y^* 的 x^* = ?y=f(x)在y=y∗的x∗=? 为了求这种问题，我们需要用到梯度下降法 梯度下降法的公式是：△x=−lr∗△y∗y′△x = -lr * △y*y'△x=−lr∗△y∗y′ 其中：lrlrlr是步长，目的是尽可能的缩小△x△y\frac{△x}{△y}△y△x​与y′y'y′之间的距离 y=y∗y = y ^ *y=y∗时xxx的解 求yyy的最小值 def sqrt(a): """利用梯度下降法进行开方计算"

有梯度的函数 取最大值、最小值（relu） 方差 标准差 常用函数 没有梯度的函数 取整操作 y=x[i] (y对x是有梯度的。y对i是没有梯度的)【单个GPU是有梯度的。多个GPU是没有梯度的】 首先： x[i] === i * x dict : y = x[i] 获得的100%的 Deltax[i] 进行n的GPU的平均， 然后分配到每个GPU one_hot : y = i * x i本身是有梯度的（因为i是向量），i之前是一个id，是一个整数，没有deltaid的存在 Tx = i’ *

牛顿法：在实数域和复数域上近似求解方程的方法 也就是：△y△x\frac{△y}{△x}△x△y​ 近似于 y′y'y′ 举个例子：利用牛顿法进行数字的开方处理 定义需要开方的数字：a=2a=2a=2 定义需要的方程：y=x2y = x^2y=x2 xxx yyy △y=a−y△y=a-y△y=a−y y′=2xy'=2xy′=2x △x=△yy′△x=\frac{△y}{y'}△x=y′△y​ 1 1 1 2 0.5 1.5 2.25 -0.25 3 -0.0833 1.416