南鹏飞 技术博客

1方案概述 抓取维基百科数据。 根据网上调查，现有三种解决方案： ²  使用Apache Nutch爬虫技术，深度抓取页面数据。 ²  使用JWPL技术，解析Wikipaia离线数据。 ²  使用Jsoup工具类，解析Wikipaia在线html dom元素。 2方案分析 2.1 ApacheNutch 2.1 Apache Nutch 2.1.1原理 Nutch 

http://webmagic.io/docs/zh/posts/ch1-overview/architecture.html 1.2 总体架构 WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考