刘较瘦ORz的博客

想学java，就在Github找了一个开源项目——黄亿华先生写的纯java的爬虫框架webmagic。今年大四了，还有两个月就要毕业了。感觉现在开始学习java晚了呢~~~^_^~~~ webmagic源码传送门：https://github.com/code4craft/webmagic

webmagic是基于Maven构建的，而我是用Eclipse来写Java的，Maven并没有用过。所幸eclipse是可以通过安装m2e插件来实现Maven项目导入的。m2e的安装分为在线和离线两种方式，我选择的是在线安装方式。具体安装步骤如下： 1.打开eclipse。Help> Install New Software 弹出对话框。选择Add按钮。该对话框就是用于添加一个插件地址的。在“N

在笔记（2）中我们已经安装好了eclipse的m2e插件，以maven为构建工具的webmagic源码就可以导入到eclipse中了。 1.导入源码。 步骤如下： 打开eclipse file>import。在新弹出的导入项目对话框中会出现maven选项。如图 选择next一路下去，最终找到你的源码所在路径，将共计5将解压后的webmagic文件夹导入。 导入后eclipse下文件树如图：

在笔记(2)、笔记(3)里，我们对webmagic的eclipse开发环境进行了配置并完成了第一个小爬虫的编写，以上算是对webmagic进行了一次感性的认识。从本篇博文开始，开始学习webmagic的实现细节。 一下内容是我在使用了webmagic进行一些小爬虫编写的基础上的一些自己的认识，很大一部分受官方的使用手册影响。说白了，就是自己在理解的基础上重新打了一遍。 首先，祭出总体架构图。