从零开始打造一个新闻订阅APP之爬虫篇（二、实现一个简单的爬虫系统）

小龙人2015

于 2015-05-19 21:29:36 发布

阅读量4.9k

点赞数 3

分类专栏：新闻订阅APP实现

本文链接：https://blog.youkuaiyun.com/yangno11988/article/details/45850179

版权

本文介绍了从零开始构建新闻订阅APP的爬虫系统，包括系统结构、代码实现和工作流程。采用生产者-消费者模式，利用阻塞队列进行数据交换，通过抽象基类处理通用逻辑，并针对不同站点实现具体抓取策略。文章强调在初期开发中满足业务需求，同时注重代码的可维护性和扩展性，以应对网站结构变化和异常情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前景提要：如何开发一个新闻订阅APP之爬虫篇（一、背景介绍&需求分析）
做一个特定的爬虫系统，首先考虑它要做什么？
从互联网上抓取指定的N个站点信息，解析提取需要的内容，按照特定的结构存储；
系统结构图如下：
这里写图片描述
下面是主要的代码结构；

首先，定义一个CrawlerBootStrap类，作为整个系统的主入口。

public void init(){
     crawlerList = new ArrayList <Crawler >() ;
     for( String name : crawlerNameList ){
          Crawler c = (Crawler ) SpringUtil. getObject( name) ;
          if( c. init())
               crawlerList .add (c );
     }
     start() ;
}
//爬虫线程池，存储多个爬虫，控制同一时间正在运行爬虫个数
public void start(){
      //爬虫池
      int corePoolSize = 20 ;
      int maximumPoolSize = 1000 ;
      long keepAliveTime = 100000L ;
      BlockingQueue <Runnable > runnableTaskQueue = new PriorityBlockingQueue <Runnable >( 20) ;
      ThreadPoolExecutor threadPoolExecutor = new

最低0.47元/天解锁文章