Rover的博客

引言之前一致不明白，为什么交叉熵损失函数在进行梯度计算的时候的公式跟最小二乘是一致的。抱着这样的疑问，我对交叉熵损失函数进行的偏微分，进行验证。正文最小二乘法损失函数J(θ)=12m∑im(h(xi)−yi)2J(\theta)=\frac{1}{2m}\sum_i^m(h(x^i)-y^i)^2J(θ)=2m1​i∑m​(h(xi)−yi)2此时h(x)=wx+bh(x)=wx+bh(x)=wx+b，所以∂J(θ)∂θj=1m∑im(h(xi)−yi)xji\frac{\partial J(\

最小二乘Loss=1m∑i=1m(f(xi)−yi)2Loss=\frac{1}{m}\sum_{i=1}^m(f(x_i)-y_i)^2Loss=m1​i=1∑m​(f(xi​)−yi​)2极大似然估计法如何做损失函数？什么是极大似然估计法？似然值是指真实的情况已经发生，我们假设事件有很多概率模型，然后根据概率模型计算真实情况发生的概率。这个概率就叫似然值。假设投硬币事件，现实世界投十次硬币，7正三反。我们假设理念世界有三个概率模型，分别为正0.1反0.9正0.7反0.3正0.8反0.

自动推断在python当中，我们通常用-1，都是指代最后一列。比如列表x=[1,2,3,4]x[-1]==4 #True但是在numpy当中，我们对张量进行变换。-1经常代表自动推断。比如import numpy as npx = np.arange(12).reshape(2,6) # x.shape为(2,6)x = x.reshape(2, 3, -1) #此时自动推断，x的shape为(2,3,2)...