Jsoup使用
关注
分享
扫一扫
依白
集中=>高效
展开
-
HttpClient连接网页，Jsoup解析网页
这两天在爬取某个医疗网站的信息，一开始就没有用httpClient用的全是Jsoup，用Jsoup链接并解析，上网搜了一下发现HttpClient和Jsoup结合起来也可以获取内容．所以把我github上的一篇代码有翻修了一下． package GetMedicineName_001;import org.apache.commons.httpclient.HttpMethod;import原创 2015-08-11 21:13:32 · 882 阅读 · 0 评论 -
定向爬虫：动态加载网页的爬取
×× 前几天看了一下豆瓣电影的内容，想从豆瓣电影的分类排行榜 · · · · · 中爬取多一点的电影信息。点击一个类型进去之后发现它里面的电影信息时需要你不断往下拉动滚动条之后才会动态地加载更多的电影信息并显示出来。观察了一下发现了它采用的是AJAX异步请求(通过在后台与服务器进行少量数据交换，AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新)原创 2016-01-26 20:06:07 · 19160 阅读 · 3 评论