baidu_16830313的博客

一、爬取国际石油网知识板块 要爬取的网站为：http://oil.in-en.com/zhishi/ 网站结构比较标准，新闻列表页单一且包含href链接，下一页链接等信息 1.1 添加种子 }else if (crawler.webMoudle == 38) { if (crawler.mk.equals("Sybk")) { /* 起始页 */ crawl...

一、jsoup 抽取信息的时候用到了jsoup。下面简单记录下jsoup的使用心得 http://www.open-open.com/jsoup/selector-syntax.htm 1.1 jsoup选择器 标签指定id <div class="list_left"> <div id="content"> 正文部分正文部分正文部分正文部分 &l...