moonsheep_liu的专栏

首先,在官方网站下载web-harvest,目前最新版本是1.0，下载页面分三个下载包，分别是webharvest1-exe.zip，webharvest1-bin.zip，webharvest1-project.zip，他们没实质区别，第一个是包含了全部第三方包（一起打入了同一个jar文件直接可运行），第二个做为一个中间件出现，附带了所有独立的第三方jar包，第三个则是源码，当然要最大的灵活性自

关于web-harvest的使用，上篇转载的文章已经有简单的说明，本文主要以爬取yahoo！answers的数据为例，说明在使用过程中需要注意的问题。当然，最好的使用文档就是官方网站的user manual。          web-harvest有三个版本，这里用的是源码包。要完成数据的爬取，最重要的是配置config文件。源码包中有个Java类，Test.java，源代码如下： publ