WebMagic爬虫框架01.

WebMagic爬虫框架应用

Java版本的爬虫框架

---

---

前言

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

---

一、特性？

简单的API，可快速上手
模块化的结构，可轻松扩展
提供多线程和分布式支持

WebMagic里主要使用了三种抽取技术: XPath、正则表达式和 CSS选择器。另外，对于JSON格式的内容，可使用JsonPath进行解析

二、使用步骤

1.引入Maven

代码如下（示例）：

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.3</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.3</version>
</dependency>

2.读入数据

代码如下（示例）：

该处使用的url网络请求的数据。

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。