使用httpclient jsoup 及jetty 全自动登录网站 抓取网页,解析并展示
前提:因为一直在和朋友做网站 看门猪返利网
,使用的程序本身并不能从广告联盟抓取商城数据,一个一个添加几百个都手动也不靠谱,程序员出身就决定出手一试。
使用到的开源包:
httpclient 做自动登录,网页抓取
jsoup 解析网页,获取目标信息,配合httpclient进行尝试网页抓取
jetty 抓取到的信息需要展示,使用传统应用程序展示要考虑的东西多,还是网页展示简单,
原创
2012-04-08 10:37:10 ·
3106 阅读 ·
4 评论