Tcorpion的博客

from:     http://www.cnblogs.com/huashiyiqike/p/3568922.html 复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。  x is a column vector, A is a matrix d(A∗x)/dx=A             d(xT∗A)/dxT=A    d(xT∗A)/

KL散度(Kullback-Leibler_divergence) KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于这个字符集的熵： H(X

1.好好看一下《METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS》2nd Edition, April 2004，K. Madsen, H.B. Nielsen, O. Tingleff. 这本短书讲得很详细。2. 参考博文, 这里两篇很细致，与上面的短书内容一致。Levenberg–Marquardt：  https://blog.youkuaiyun.com/ji...