基于朴素贝叶斯的概率学习:短信垃圾邮件分类
1. 文本数据清理
在处理短信数据时,首先要进行一系列的清理工作。如果在应用 stemDocument() 转换时收到错误消息,需确认是否安装了 SnowballC 包。若安装后仍遇到所有调度核心都出错的消息,可以通过添加 mc.cores = 1 参数,强制 tm_map() 命令使用单核心。
在移除数字、停用词、标点符号并进行词干提取后,短信中会留下之前分隔已移除部分的空白。最后一步是使用内置的 stripWhitespace() 转换来移除额外的空白:
sms_corpus_clean <- tm_map(sms_corpus_clean, stripWhitespace)
以下表格展示了短信语料库中前三条短信在清理前后的情况:
| 清理前的短信 | 清理后的短信 |
| — | — |
| > as.character(sms_corpus[1:3]) [[1]] Hope you are having a good week. Just checking in [[2]] K..give back my thanks. [[3]] Am also doing in cbe only. But have to pay. | > as.character(sms_corpus_clean[1:3]) [[
超级会员免费看
订阅专栏 解锁全文
3815

被折叠的 条评论
为什么被折叠?



