【NLP】Python中文文本聚类

1. 准备需要进行聚类的文本，这里选取了10篇微博。

import os
path = 'E:/work/@@@@/开发事宜/大数据平台/5. 标签设计/文本测试数据/微博/'
titles = []
files = []
for filename in os.listdir(path):
    titles.append(filename)
    #带BOM的utf-8编码的txt文件时开头会有一个多余的字符\ufeff，BOM被解码为一个字符\ufeff，如何去掉？修改encoding为utf-8_sig或者utf_8_sig
    filestr = open(path + filename, encoding='utf-8_sig').read()
    files.append(filestr)
for i in range(len(titles)):
    print(i, titles[i], files[i])

0 #我有特别的推倒技巧#之佟掌柜收李逍遥.txt 【#我有特别的推倒技巧#之佟掌柜收李逍遥】@胡歌 此前对南都称，“我要海陆空三栖”，可是还没等他征服海陆空呢，@素描闫妮 就把他先收了……他俩主演的电视剧《生活启示录》收视率稳居卫视黄金档排行第1名，在豆瓣甚至被刷到了8 .6的高分。佟掌柜是怎么推倒李逍遥而又不违和的？http://t.cn/Rvbj6oy
1 从前的称是16两为一斤，为什么要16两为一斤呢？.txt 从前的称是16两为一斤，为什么要16两为一斤呢？古人把北斗七星、南斗六星以及福、禄、寿三星，共16颗星比作16两，商人卖东西，要讲究商德，不能缺斤短两；如果耍手腕，克扣一两就减福，克扣二两就损禄，克扣三两就折寿。所以这个数字和古代人对诚信的美好愿望分不开。
2 作死男晒酒驾.txt #作死男晒酒驾# “他还晒出自己闯红灯20多次，最终此人自首。”请问“亲爱的交警同志”你们在干神马事情去啦！！！是不是撞死人呢，你们才会管啊，开宝马的命太金贵了，而我们的命太.......！！！[怒][泪] |作死男晒酒驾
3 冀中星被移送检察院审查起诉.txt #新闻追踪#：【冀中星被移送检察院审查起诉】首都机场公安分局对冀中星爆炸案侦查终结，目前已移送朝阳检察院审查起诉。7月20日18时24分，冀中星在首都机场T3航站楼B口外引爆自制炸药。案发当天除冀中星左手腕因被炸截肢外，无其他人伤亡。7月29日，冀中星因涉嫌爆炸罪被批捕。http://t.cn/zQHjr0S
4 宝马男微博炫富晒酒驾挑逗交警 最终因被人肉求饶[汗].txt 【宝马男微博炫富晒酒驾挑逗交警 最终因被人肉求饶[汗]】"开车喝酒是不是违反交规？@深圳交警 今晚猎虎吗？"，在向交警挑衅后，他又晒出车牌号，称自己闯红灯20多次，随即遭人肉，并陆续被曝光私人信息。很快，他发微博求饶。26日，交警传唤该男子，该男子炫富违法车辆已被查扣。http://t.cn/Rvb9gF6
5 广场舞出口世界.txt #广场舞出口世界# 澳大利亚引进广场舞顺带引进大妈的疑惑：1）是否可以申请技术移民2）是否属于物种入侵3）亚洲女子天团进入澳洲是否会影响当地娱乐圈的圈态平衡4）是否能够接受“中国大妈一旦引进，一概不退不换”的要求
6 方