qlzy的博客

文章目录定义预测下一个单词为文本分配概率语言模型实现N-gram 语言模型神经网络语言模型RNN语言模型定义预测下一个单词语言模型是指根据给定序列预测下一个单词的任务，其形式化表达为：给定单词序列X(1), X(2), … , X(t)，然后预测单词X(t+1)的概率分布：为文本分配概率语言模型的另一种定义是给给定文本序列分配概率（这个概率代表了该文本序列出现的可能性大小）。例如，给定一段文本X(1), X(2), … , X(t)，那么这段文本出现的概率为：语言模型在现实生活中具有非常

文章目录一、语言学知识（linguistics）语音学与音韵学形态学（Morphology）人类语言书写系统二、Subword ModelByte Pair EncodingWord piece modelSentence piece model三、Subword-level language model模型实现：《Character-Aware Neural Language Models》四、Hybrid NWT五、Character-level说明：本博文用于记录学习斯坦福CS224N的相关笔记，其

文章目录一、任务定义概念对比回指下指二、应用场景Full text understanding机器翻译（machine translation）对话系统（Dialogue Systems）三、研究方法四、共指消解模型Rule-based (pronominal anaphora resolution)Mention-Pair Model训练测试缺陷Mention-Ranking ModelClustering五、二分类器或ranking模型实现Non-neural statistical classifie