文本表示(Text Representation)之词集模型(SOW)&词袋模型(BOW)&TF-IDF模型

转载请注明来源 http://blog.youkuaiyun.com/Recall_Tomorrow/article/details/79488639
欢迎大家查看这些模型简单实现的代码……
$\ \ \ \ $对于一个包含若干个文档的语料库(Corpus)$\mathcal C=\{doc_1, doc_2,\cdots,doc_m\}$,将其所有词条（Tokens）整合为一个大的词库(Lexicons)$\mathcal L_{\mathcal C}$，对于任意文档$doc_i,i\in\mathbf R^+$的分词结果(当然这里已经包括了NER、stopwords、lemmatization等预处理)为$\mathcal W_i$，那么文本表示为$V_i，|V_i|=len(\mathcal L_{\mathcal C})$

词集模型（Set of Words）

$\ \ \ \ $对于文档$doc_i$的$\mathcal W_i$，如果词库中第j个token $\mathcal L_{\mathcal C}^{(j)}$出现在$\mathcal W_i$中，那么该文档此处的向量分量$\mathbf V_{ij}$就为1，否则就为0，即，

$$\mathbf V_{ij}=\left\{\begin{array}{lr}1,&\mathcal L_{\mathcal C}^{(j)}\in \mathcal W_i\\ 0, &else\end{array}\right.,\ \ \ \ i\in\mathbf R^+,j\in[1, |len(\mathcal L_{\mathcal C})|]$$

词袋模型（Bag of Words）

$\ \ \ \ $对于文档$doc_i$的$\mathcal W_i$，如果词库中第j个token $\mathcal L_{\mathcal C}^{(j)}$出现在$\mathcal W_i$中，那么该文档此处的向量分量$\mathbf V_{ij}$就为它的词频freq($\mathcal L_{\mathcal C}^{(j)}$)，否则就为0，即，

$$\mathbf V_{ij}=\left\{\begin{array}{lr}freq_i(\mathcal L_{\mathcal C}^{(j)}),&\mathcal L_{\mathcal C}^{(j)}\in \mathcal W_i\\ 0, &else\end{array}\right.,\ \ \ \ i\in\mathbf R^+,j\in[1, |len(\mathcal L_{\mathcal C})|]$$

词频-逆文档频率（TF-IDF）

$\ \ \ \ $TF:(Term Frequency),衡量一个term在文档$doc_i$中出现的频率，

$$TF_i(w)=\frac{term\ w在文档中出现的次数freq_i(w)}{文档中term的总数|\mathcal W_i|}$$
$\ \ \ \ $IDF:(Inverse Document Frequency),衡量某个term在语料库 $\mathcal C$中的重要性， $$IDF_i(w)=\log\frac{文档总数|\mathcal C_i|}{包含term\ w的文档数sum(I(w\in\mathcal C_j))}$$ $其中I(\cdot)为指示函数(indicator function )$
$\ \ \ \ TF-IDF_i(w)=TF_i(w)\times IDF_i(w)$，即， $$V_{ij}=TF-IDF_i(\mathcal L_{\mathcal C}^{(j)}),\ \ i\in\mathbf R^+,j\in[1, |len(\mathcal L_{\mathcal C})|]$$