网页爬虫简单demo

今天用htmlcleaner写了一个最简单的网页爬虫，记录一下。

1. 首先新建一个java工程
2. 导入htmlcleaner的jar包
   
3. 新建一个类，从指定网页中获取指定内容
   
   大致原理为首先获取指定地址的所有元素，然后按照给定的方式进行抽取内容，最后进行内容处理。这里是用的node.evaluateXPath(“//*[@id=’sub_1’]/div”)的方式进行取内容，大家也可以尝试按照其他方式进行获取内容
   最后写了一个简单的方法进行过滤结果：
   
   运行后的结果为：
   

这只是一个小demo，有兴趣的朋友可以好好研究一下htmlcleaner

最后附上这个demo的下载地址：http://download.youkuaiyun.com/detail/sapce_fish/9560920

如果有写的不对的地方，欢迎指正，谢谢