深度学习trick

指数和的对数

形如$\log {\sum }_{n=1}^N{e}^{x_n}$的指数和的对数，这是非常常见的需求，比如要计算softmax的对数似然。如果$x_n$比较大或者比较小，指数就会接近0或者很大，由于浮点数只有64位，即便x的取值为[1000,1000,1000]左右，取了对数之后的值就会上溢或者下溢。
解决办法就是：取$a=\underset{n}{\max }{x}_n$,这样$x_n-a$，这样指数最大不会超过0。原式=$a+\log {\sum }_{n=1}^N{e}^{x_n-a}$，不会发生上溢，即便发生下溢，你也能得到一个合理的值。