12、基于朴素贝叶斯的概率学习：短信分类实战

基于朴素贝叶斯的概率学习：短信分类实战

1. 数据预处理

在处理短信数据时，我们需要进行一系列的预处理操作，以确保数据适合后续的分析和建模。

1.1 文本清理

在应用 stemDocument() 转换时，如果收到错误消息，请确认已安装 SnowballC 包。若安装后仍遇到所有预定核心都出错的消息，可通过添加额外参数 mc.cores = 1 来强制 tm_map() 命令使用单核心。

在移除数字、停用词、标点符号并进行词干提取后，短信中会留下之前分隔已移除部分的空白。最后一步是使用内置的 stripWhitespace() 转换来移除额外的空白：

sms_corpus_clean <- tm_map(sms_corpus_clean, stripWhitespace)

以下表格展示了清理前后短信语料库中的前三条短信：
| 清理前的短信 | 清理后的短信 |
| — | — |
| > as.character(sms_corpus[1:3]) [[1]] Hope you are having a good week. Just checking in [[2]] K..give back my thanks. [[3]] Am also doing in cbe only. But have to pay. |