nlp 语法解析Parsing

语法解析Parsing

解析树

s支配了整个子串

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ipNJQPav-1608460079812)(语言模型Language Model.assets/image-20201213153658256.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jfNLs8Zd-1608460079815)(语言模型Language Model.assets/image-20201213153800110.png)]

CFG Context-Free Grammars

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6LqwfMZf-1608460079817)(语言模型Language Model.assets/image-20201213154544019.png)]

派生序列表示

每次取最左端非终端的项继续表示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5Trdydvl-1608460079820)(语言模型Language Model.assets/image-20201213155332453.png)]

PCFGs

在语法的每个规则分配了不同的概率

如何学习规则和概率 ：Treebank

缺陷：对距离远近不同的相同词性的概率没有考虑

Chomsky

动态规划选出最佳解析树

定义动态规划表

递归的过程求max $\pi$ ,s从小变大，大的$\pi$拆成小的$\pi$递归计算

LPCFG

加入词汇信息改进PCFG