JSOUP爬虫常见问题解决方法

     首先我们必需明确一点的是，自己想要对那些网站进行爬取相关信息，其次就是你要爬取的东西，你要什么？接下来就是怎么去爬取，采用的方式手段是什么？页面中是否存在反爬虫技术，如何去解决？

 

（备注：以下部分说法是建立在下载HTML页面，css样式，js文件，各类图片中操作的）

 

一、jsoup + java技术爬虫

   充分利用Jsoup 工具，进行页面的解析，获取，以及修改原页面的东西，达成你想要的的效果。jsoup 是一种解析HTML页面转成doc，一个树状形式的数据结构，功能非常强大。

  jsoup 中会有正则表达式，通过正则表达式，利用Pattern 、Matcher ,可以获取特定的字段替换自己不要的东西

 

二、jsoup 获取HTML常用的属性方法有：

       a.获取id的属性的值，由于id属性唯一，所以属性element 是单数。getELementById（"idName"）.text(),获得的是String类型数据; 

 

      b.获取class的属性值，class属性为多个元素值，所以是一个复数概念，然后doc中存在这个getindex方法，获取第几个元素，同时亦可以用text（）方法，或者是tostring方法，直接输出；