当成人网站遇上机器学习

互联网中蕴含着海量的内容信息，基于这些信息的挖掘始终是诸多领域的研究热点。当然不同的领域需要的信息并不一致，有的研究需要的是文字信息，有的研究需要的是图片信息，有的研究需要的是音频信息，有的研究需要的是视频信息。本文就是根据网页中的相关信息来对网站进行分类。当然为了简化问题的复杂性，将以一个二分类问题为例，即如何鉴别一个网站是成人网站还是普通网站。方然这方面信息的识别是也非常的重要。

成人网站包含大量的色情信息，目前对于色情信息的研究分为多个方面。有基于图像识别，来判定色情图片，色情视频等，主要应用场景是一些聊天软件中。有基于域名等关键信息过滤的来限制对此类站点的访问，主要应用场景是网络出口处，例如教育网和企业出口。本文所阐述的是基于文本分类的方法来识别成人网站，例如QQ浏览器会提示用户访问的网站可能会包含色情信息，就可能用到类似的方法。
本次内容主要包括以下几个方面:

1、分析网站哪些信息可以作为识别的语料信息
2、语料信息的获取
3、分词，去停用词形成词向量特征
4、模型的训练识别及分析
5、基于本文所述方法的扩展应用

上述内容详见 村中少年 的gitchat，地址见这里。

本文为优快云村中少年原创文章，转载记得加上小尾巴偶，博主链接这里。