互信息 Mutual Information

互信息（Mutual Information）在统计语言模型中被广泛采用。如果用A表示包含词条t且属于类别c的文档频数，B为包含t但是不属于c的文档频数，C表示属于c但是不包含t的文档频数，N表示语料中文档总数，t和c的互信息可由下式计算：
MI(t,c) = log2{(A*N)/(A+B)*(A+C)}