<br />网页采集基础<br /> <br />网页采集是指将某个网页上的数据通过获取网页源码,并对源码进行分析得到我们需要的数据,并将数据写入数据库,以及后续的数据校验和质量监测等系列的过程.<br /> <br />首先,网页采集我们需要具备以下几个方面的能力.<br /> <br />1.熟练掌握正则表达式.<br />2.熟悉网也请求流程,<br />3.熟悉多线程相关知识<br /> <br />辅助工具<br /> <br />1.firefor+firebug<br />2.IE8+Http

通用网页数据采集器 此采集器原本是给一个公司定制的产品，后来对方不要了，所以此采集器没有完工。也不是很完善。不完善的地方主要体现在：1.      没有做定时执行模块2.      没有做数据入库模块 本采集器采用sqlite作为本地数据库存放一些本地信息和配置信息。使用模拟的HTTP请求获取数据。运行效果截图： 添加数据源（1）         注意：