Create_IT_Man的博客

softmax理解1、softmax由来2、常见softmax公式3、softmax推导 1、softmax由来 softmax是根据hardmax得来，hardmax: z=max(x,y),而softmax是z=log(ex+ey)z=log(e^x+e^y)z=log(ex+ey)当x>>y时softmax下的 z=x. 为了更加清楚理解：我们固定y=1，比较一下，softmax与hardmax图像： 由图像可以知道softmax比hardmax平滑(大概猜出为什么叫softmax了)