第三章 3、4 语言模型及其平滑项处理

AI_Younger_Man

于 2020-02-25 01:34:33 发布

阅读量589

点赞数

分类专栏： ● 人工智能 # 自然语言处理 NLP 文章标签：自然语言处理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_38888209/article/details/104463043

版权

本文介绍了语言模型在自然语言处理中的应用，包括无序模型（如unigram, bigram, trigram）和平滑项的处理方法，如Add-one Smoothing和Add-k Smoothing。通过Perplexity指标评估模型性能，并讨论了Good-Turing平滑算法解决零频率问题的优势和潜在不足。" 116037270,9038398,MAC协议详解：从集线器到ARP协议,"['网络协议', '网络通信', '计算机网络', 'MAC地址', '数据校验']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Noisy Channel Model

下面这个是贝叶斯公式。因为source是给定的输入，所以它的概率是常数，分母就忽略了。
在这里插入图片描述
例如：一直输入的英文，求翻译之后的中文。

语言模型

LM：深度学习模型，判断语义性。
在这里插入图片描述
回忆一下联合概率公式

在语料库中先找后面这一句话，找到之后，看后面接的是什么。看是否出现，求概率。
缺点：当这这句话很长的时候，不好找

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。