Machine Learning小技巧:LogSumExp

LogSumExp小技巧

Machine Learning当中会涉及到许多的小技巧让运算更快捷，或者结果更精确，其中LogSumExp就是一种可以运到softmax的代码实现中小技巧。

$$LogSumExp(x_1\dots x_n)=\log \left(\sum _{i=1}^n{e}^{x_i}\right)$$

Softmax的表达式为
$$\frac{e^{x_j}}{{\sum }_{i=1}^n{e}^{x_i}}$$
返回的结果是对所有Xj的归一化，使得所有xj的总和为1，用来表示所需的概率分布。

log ⁡ ( e x j ∑ i = 1 n e x i ) = log ⁡ ( e x j ) − log ⁡ ( ∑ i = 1 n e x i ) = x j − log ⁡ ( ∑ i = 1 n e x i ) \log(\frac{e^{x_j}}{\sum_{i=1}^{n} e^{x_i}}) \\ =\log(e^{x_j}) -\log(\sum_{i=1}^{n} e^{x_i}) \\ = x_j - \log(\sum_{i=1}^{n} e^{x_i}) log(∑