在PTB数据上使用TensorFlow建立语言模型1-数据预处理

原创

于 2018-11-25 22:07:41 发布 · 309 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用TensorFlow建立语言模型，重点关注PTB数据集的预处理步骤。通过计算perplexity评估模型效果，讨论了预处理过程中将原始文本转化为单词编号的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基础知识

语言模型效果好坏的常用标准是复杂度(perplexity)。在一个测试集上得到的perplexity越低，说明建模效果越好。计算perplexity值得公式如下：

$perplexity=p\left ( w_{1}, w_{2}, w_{3},\cdots w_{m}\right ) =\sqrt[m]{\prod_{i=1}^{m}1/p(w_{i}| w_{1}, w_{2}, w_{3},\cdots w_{m}\right ))}$

在语言模型中，通常采用perplexity的对数表达形式：

$log(perplexity(S))=-\frac{1}{m}\sum_{i=1}^{m}logp\left ( w_{i}|w_{1},\cdots ,w_{i-1}\right )$

在数学上，log perplexity可看成真实分布与预测分布之

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。