6、自然语言处理中的文本语料库与词汇资源访问

自然语言处理中的文本语料库与词汇资源访问

在自然语言处理的实际工作中，通常会使用大量的语言数据，即语料库。以下将详细介绍一些有用的文本语料库和词汇资源，以及如何使用Python来访问它们。

1. 文本语料库概述

文本语料库是大量文本的集合，许多语料库旨在包含一种或多种体裁的平衡材料。之前我们接触过一些小的文本集合，如美国总统就职演说。这里将探讨更多不同类型的文本语料库，以及如何选择和处理单个文本。

2. 常见文本语料库及访问方法

2.1 古腾堡语料库（Gutenberg Corpus）

古腾堡项目电子文本档案包含约25000本免费电子书，NLTK包含了其中一小部分文本。以下是访问该语料库的步骤：
1. 加载NLTK包：

import nltk

2. 获取古腾堡语料库的文件标识符：

nltk.corpus.gutenberg.fileids()

输出示例：

['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', 'bible-kjv.txt',
'blake-poems.txt', 'bryant-stories.txt', 'burgess-busterbrown.txt',
'carroll-alice.txt', 'chesterton