6、自然语言处理中的文本语料库和词汇资源

自然语言处理中的文本语料库和词汇资源

一、引言

在自然语言处理的实际工作中，通常会使用大量的语言数据，即语料库。本文将探讨一些有用的文本语料库和词汇资源，以及如何使用 Python 来访问它们，同时介绍在处理这些语料库时最有用的 Python 结构，并说明如何避免在编写 Python 代码时重复劳动。

二、访问文本语料库

2.1 古腾堡语料库（Gutenberg Corpus）

古腾堡项目电子文本档案包含约 25,000 本免费电子书，NLTK 包含了其中的一小部分文本。可以通过以下步骤访问：
1. 加载 NLTK 包：

import nltk

2. 获取古腾堡语料库的文件标识符：

nltk.corpus.gutenberg.fileids()

输出结果如下：

['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', 'bible-kjv.txt',
'blake-poems.txt', 'bryant-stories.txt', 'burgess-busterbrown.txt',
'carroll-alice.txt', 'chesterton-ball.txt', 'chesterton-brown.txt',
'chesterton-thursday.t