全自动网也采集系列一(网页采集基础)

网页采集基础

 

网页采集是指将某个网页上的数据通过获取网页源码,并对源码进行分析得到我们需要的数据,并将数据写入数据库,以及后续的数据校验和质量监测等系列的过程.

 

首先,网页采集我们需要具备以下几个方面的能力.

 

1.熟练掌握正则表达式.

2.熟悉网也请求流程,

3.熟悉多线程相关知识

 

辅助工具

 

1.firefor+firebug

2.IE8+Httpwatch

3.正则表达式书写工具

 

就目前比较长见的获取网页源码主要有两种方式:

1.使用WebBrowser控件获取网页源码,

2.模拟HTTP请求,获取返回的网页源码

 

两种方式分析:

webbrowser这种方式简单,比较好理解,获取源码比较简单.能够自动保存COOKIE信息,可以实现按钮的模拟点击等行为.缺点是目前该控件对多线程支持不友好,在多任务调度时容易出现异常,另外 webbrowser会下载改地址上的所有资源,下载时间较长.

 

模拟HTTP请求,要求获取真实的页面地址,对于Ajax页面找真实页面地址难度被加大.另外cookie信息需要自己保存,优点是对多线程支持友好,不下载无关的图片,flash等资源,加快源码获取速度.