Python自然语言处理笔记(五)------获取文本语料库

一. 获取文本语料库

1. 古腾堡语料库

古腾堡语料库：包含古腾堡项目电子文本档案的一小部分文本，该项目大约有25000（现在是36000）本免费电子书。（文学类，比较正式的语言）

raw()函数:能在没有进行过任何语言学处理之前把文件的内容分析出来。

sents()函数: 把文本划分位一个句子，其中每一个句子是一个词链表。

words()函数：返回词数。

获取：from nltk.corpus import gutenberg

写一段简短的程序，通过循环遍历前面所列出与gutenberg文件标识符相应的fileid,然后计算统计每个文本。统计量：平均词长、平均句子长度、和本文中每个词出现的平均次数（词汇多样性）。

2.网络与聊天文本

网络与聊天文本（非正式）：Firefox交流论坛、在纽约无意间听到的对话、《加勒比海盗》的电影剧本、个人广告和葡萄酒的评论。

获取: from nltk.corpus import webtext

还有一个即时消息聊天会话语料库,最初由美国海军研究生院为研究自动检测互联网入侵者而收集的。

获取：from nltk.corpus import nps_chat