Java 通过gecco快速搭建一个爬虫框架

LianJc

于 2018-11-22 15:15:43 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：代码文章标签： java 爬虫框架 demo gecco

本文链接：https://blog.youkuaiyun.com/u013396133/article/details/84339780

本文介绍了如何利用Java的Gecco库快速搭建一个爬虫框架，包括导入依赖、创建爬虫类、定义Pipelines处理数据，以及理解Gecco的注解用法如@Gecco、@RequestParameter等。通过GeccoEngine启动爬虫，并提到了@HtmlField的cssPath用于指定类似Jquery选择器的HTML元素路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Java gecco 爬虫Demo

Gecco是一款用java语言开发的轻量化的易用的网络爬虫框架。
官网： http://www.geccocrawler.com/

1.导入依赖

<dependency>
            <groupId>com.geccocrawler</groupId>
            <artifactId>gecco</artifactId>
            <version>1.0.8</version>
</dependency>

2.创建爬虫类

接口HtmlBean说明该爬虫是一个解析html页面的爬虫（gecco还支持json格式的解析）
注解@Gecco告知该爬虫匹配的url格式(matchUrl)和内容抽取后的bean处理类（pipelines处理类采用管道过滤器模式，可以定义多个处理类）。

import com.geccocrawler.gecco.GeccoEngine;
import com.geccocrawler.gecco.annotation.Gecco;
import com.geccocrawler.gecco.annotation.HtmlField;
import com.geccocrawler.gecco.annotation.Request;
import com.geccocrawler.gecco.annotation.Text;
import com.geccocrawler.gecco.request.HttpRequest;
import com.geccocrawler.gecco.spider.HtmlBean;

import java.util.List;

/**
 * @Auther: lianjc
 * @Date: 2018/11/19 0019 09:54
 * @Description:
 */
@Gecco(matchUrl = "https://blog.youkuaiyun.com/u013396133/article/details/84255590",pipelines = "testPip