ding_programmer的博客

语言模型中经常使用困惑度来作为语言模型的评价对于一段 句子(sentence) s 由词构成，即： ，w代表词对两边都取 对数 则：所以：一般的困惑度越小，模型越好，应该尽可能找困惑度小的模型...

实验目的：利用给定的中英文文本序列（见 Chinese.txt 和 English.txt），分别利用以下给定的中英文分词工具进行分词并对不同分词工具产生的结果进行简要对比分析。实验工具：中文 Jieba（重点），尝试三种分词模式与自定义词典功能、SnowNLP、THULAC、NLPIR、StanfordCoreNLP、英文 NLTK、SpaCy、StanfordCore...