weixin_46841421的博客

[200908] 熵，交叉熵，KL散度 信息熵（Entropy） 信息熵（Entropy）是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。(https://www.cnblogs.com/soyo/p/6893551.html) 信息熵用bit位数来定量表示。 H(p)=−∑pi∗log⁡2pi H(p) = -\sum{p_i*\log_2{p_i}}H(p)=−∑pi​∗log2​pi​ 其中pip_ipi​为X中

[200903] 逻辑回归及交叉熵 通过B站，理解了逻辑回归和交叉熵： Q: 逻辑回归为什么不可以叫逻辑分类？ A: 用回归的方法（找到不同类别之间的分界线）解决逻辑分类问题（包括二分类和多分类问题）。 基于sigmoid的二分类问题的交叉熵 sigmoid的输出是[0,1]这是一个概率的范围。 对于二分类问题，给定一个数据[x,ylabely_{label}ylabel​], 预测值为 ypredy_{pred}ypred​. 当ylabely_{label}ylabel​为0时，损失函数表示为-log(

[200902] 全概率与贝叶斯公式 通过B站，巩固了全概率公式与贝叶斯公式： 首先是某个事件B的完备事件组{A1,A2,…,An} 可以用因果关系来理解。Ai是第i个“因”，B是“果”。 Ai --------> B 代表Ai发生后B发生的概率，即条件概率P(B|Ai) B ---------> Ai 代表B发生了，同时是由Ai发生导致的概率，即P(Ai|B) 全概率公式 先验概率范畴：由因及果。在Ai发生的条件下，所有Ai–>B的可能性，加在一起。 P(B)=∑P(B∣Ai)∗P(

[200902] 条件概率与独立事件 通过B站，巩固了条件概率与独立事件： 条件概率表示事件A发生后，事件B发生的概率。两者应该处于同一空间。 A与B同时发生的概率，除以A发生的概率。 P(B∣A)=P(AB)P(A) P(B|A) = \frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)​ A和B的空间来理解，如果A和B是互斥事件，则P(AB)=0。 如果两者独立，则P(B|A)=P(B)，即A发生与否对B无影响。 如果两者有交集，则条件概率可以表征两者交集的大小。如果条件概率越大，则

[200902] 协方差与相关系数 通过B站，学习到协方差与相关系数。有如下几个要点： 协方差是两个变量之间的总体误差，方差是协方差的特例，即两个变量相同时。 Cov(X,Y)=E(X−E(X))∗E(Y−E(Y)) Cov(X,Y)=E(X-E(X))*E(Y-E(Y)) Cov(X,Y)=E(X−E(X))∗E(Y−E(Y)) 特别的：Cov(X,C)=0, C为常数; Cov(aX,bY)=ab*Cov(X,Y) 相关系数是表示两个变量之间的线性相关度的，范围为[-1, 1]。0为不相关，正数为正相