15、n-gram特征提取与语言模型构建

wind

于 2025-11-06 09:50:12 发布

阅读量13

点赞数

CC 4.0 BY-SA版权

分类专栏：用Python解锁文本智能文章标签： n-gram 语言模型特征提取

本文链接：https://blog.youkuaiyun.com/wind/article/details/154973823

用Python解锁文本智能专栏收录该内容

27 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

n-gram特征提取与语言模型构建

1. n-gram基础

1.1 n-gram生成示例

以 n = 4 和示例文本 “After, there were several follow-up questions. The New York Times asked when the bill would be signed” 为例，生成的四元组（four-grams）如下：

('<s>', '<s>', '<s>', 'After')
('<s>', '<s>', 'After', ',')
('<s>', 'After', ',', 'there')
('After', ',', 'there', 'were')
(',', 'there', 'were', 'several')
('there', 'were', 'several', 'follow')
('were', 'several', 'follow', 'up')
('several', 'follow', 'up', 'questions')
('follow', 'up', 'questions', '.')
('up', 'questions', '.', '</s>')
('questions', '.', '</s>', '</s>')
('.', '</s>', '</s>', '</s>')
('<s>', '<s>', '<s&g