Flag_ing的博客

目录1、信息量2、信息熵3、相对熵（KL散度）4、交叉熵（cross entropy）5、二值交叉熵（binary cross entropy）在机器学习领域，交叉熵是一种常用的 loss 函数，但是交叉熵是怎么来的？跟信息量又有什么联系？为什么计算公式长这样？这么写有什么意义？下面将逐一介绍1、信息量信息量反映了事件的不确定性或者说发生的概率。概率越小不确定性越大，则其蕴含的信息量越大。如果一件一定会发生的事件发生了，呢么从这件事中我们获取的信息量是0，因为我们事前已经

数据集下载连接：icwb2-data中文分词数据集 - 数据集下载 - 超神经 (hyper.ai)1、什么是中文分词与英文句子这样天生就是用空格隔开的构造不同，中文语句是连贯的，中文分词就是把连贯的中文语句拆分成分离的词语。要想让机器理解中文句子的关键信息，很多情况下需要对句子做分词处理。比如对中文语句“很高兴遇到你。”这句话进行分词的结果就是“很_高兴_遇到_你_。”，一般来说，中文分词的结果不是唯一的，因为有些字可以认为独立成词，也可以与别的字连贯成词。2、数据集的构造中文分词..

马尔可夫过程指一种状态变化（转移）的过程，在这种状态变化过程中，下一状态出现的概率只与当前所处的状态有关，与过去的状态无关。马尔可夫过程可以分为三类：马尔可夫链：时间、状态都是离散的 连续时间马尔可夫链：时间连续、状态离散的马尔可夫链 马尔可夫过程：时间、状态都是离散的这里主要解释下最常遇到的下马尔可夫链。假设状态集 为随机过程 所有可能取值组成的状态空间，是离散时间序列，若 在时刻 时所处状态的条件概率满足：此时称 为马尔可夫链。此处的“下一时刻的状态只与当前时...

目录1、大数定律2、中心极限定理1、大数定律当样本的数量足够大时，样本的统计特性就可以近似代表总体的统计特性。“大数”是指样本的数量足够大或者试验的次数足够多。2、中心极限定理设总体为 为总体的 N 个样本集，每个样本集都含有一定数量的从总体 A 抽样出的样本，并且这些样本集的均值分别为 。中心极限定理告诉我们，当 N 充分大时（大数定律），无论总体 A 服从什么分布，A 的样本集的均值都服从正态分布。“中心”可理解为均值附近，“极限”就是大数定律。举个例子：比如...

目录1、数学期望（均值）2、方差 D(X) 或 Var(X)3、协方差 Cov(X,Y)4、相关系数ρ5、协方差矩阵一句话概括：期望反映了平均水平，方差反映了数据波动程度，协方差反映了两个随机变量间的相关性（有量纲），相关系数反映了两个随机变量间无量纲的相关性。1、数学期望（均值）对随机变量及其概率的加权平均：这里说的期望也就是均值，在统计学中大多数情况下是以样本来代替整体，因此样本的均值计算公式为：2、方差 D(X) 或 Var(X)用来了解实际..

目录1、分布函数2、概率密度函数1、分布函数分布函数 显示了随机变量的取值落在某个区间上的概率，是一种不减函数。设 X 是一个随机变量，x 是任意实数，函数成为 X 的分布函数。分布函数是一个普通函数，其定义域是整个实数轴。在几何上他表示随机变量 X 落在实数 x 及x 左边的概率，因此落点在 x1 与 x2之间的概率可由 F(x2)-F(x1) 得出。他的取值范围为 [0,1]，并且是一个不减函数。易知对于离散随机变量来说，F(x)呈阶梯状。2、概率密度函数概率密度函数

极大似然估计 是建立在 极大似然原理 的基础上的一个统计方法，是概率论在统计学中的应用。目录1、极大似然原理2、极大似然估计1、极大似然原理极大似然原理：在随机试验中，许多事件都有可能发生，概率大的事件发生的概率也大。若只进行一次试验，事件 A 发生了，则我们有理由认为 A 比其他事件发生的概率都大。例如，一个箱子里有红黑两种颜色的球，数量为10个和1个，但并不知道到底哪种颜色的球为10个那种颜色的球为1个，这时我们随机从箱子里拿出一个球，如果这个球是红色的，那我们就认为盒子里红球

目录1、条件概率2、全概率公式3、先验概率4、后验概率5、贝叶斯（bayes）公式介绍这些概念之前，首先需要了解条件概率及全概率公式。1、条件概率在事件 B 发生的条件下事件 A 发生的概率。P(AB) 为 A、B 同时发生的概率，在独立同分布的情况下 P(AB)=P(A)P(B)。2、全概率公式假如事情 A 的发生可能有 B1、B2… 多种原因导致，则 为试验 E 样本空间的一个划分，A 为试验 E 的事件。3、先验概率根据以往经验或数据分.