Murphy_s的博客

原创 AI中的BP算法简要整理

AI中的BP算法简要整理一、Batch Gradient Decent (BGD)η为学习率，后面乘以的项为Loss function J(θ;x;y)的梯度，负学习率乘以梯度得到参数的增量Δθ，更新参数θ = θ + Δθ。值得注意的是和大家所熟悉的SGD算法不同，BGD为最原始的BP算法，一次输入整个数据集（dataset）计算梯度。Pros:能确保收敛Cons:计算...