数学之美——自然语言处理—从规则到统计

最新推荐文章于 2024-06-02 22:19:32 发布

Mikael_旧少年

最新推荐文章于 2024-06-02 22:19:32 发布

阅读量780

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数学之美文章标签：吴军数学之美

本文链接：https://blog.youkuaiyun.com/qq_34652535/article/details/85543917

4 篇文章

订阅专栏

从上世纪七十年代基于规则的句法分析遇到瓶颈，到1970年后统计语言学的兴起，自然语言处理经历了从规则到统计的重大转变。过去25年，其应用从自动问答转向网页搜索、数据挖掘，以及贴近实际的机器翻译、语音识别等。统计方法的引入极大推动了自然语言处理的发展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

看书过程中记一些好玩的

上世纪七十年代，基于规则的句法分析（包括文法分析或者语义分析）很快走到了尽头，而对语义的处理则遇到了更大的麻烦，首先，自然语言中词的多义性很难用规则表达清楚，而严重依赖于上下文，甚至是“世界的知识”或者常识，1970年以后的统计语言学的出现使得自然语言处理重获新生，并取得非凡成就。
自然语言处理的应用在过去25年里发生了巨大的变化，比如对自动问答的需求很大程度上被网页搜索和数据挖掘替代了，而新的应用越来越依靠数据的作用和浅层自然语言处理的工作，这在客观上大大加速了自然语言处理研究从基于规则的方法到基于统计的方法的转变。
自然语言处理的研究从单纯的句法分析和语义理解，变成了非常贴近实际应用的机器翻译，语音识别，文本到数据库自动生成，数据挖掘和知识的获取等等。