爬虫源码公开之一 -- wenwen.rake

Wenwen Rake Spider任务配置

最新推荐文章于 2025-12-04 16:52:03 发布

最新推荐文章于 2025-12-04 16:52:03 发布 · 183 阅读

文章标签：

#Ruby #Rails #生活 #JavaScript #MySQL #ViewUI

Ruby on Rails 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了一个使用Ruby Rake编写的任务配置文件，用于启动wenwen蜘蛛爬虫的任务，包括列表爬虫(list_spider)和详情爬虫(detail_spider)。通过定义环境依赖和具体的运行指令，实现了对wenwen网站数据的自动化抓取。

wenwen.rake


# == Synopsis
#
# wenwen rake all in one.
#
# == Author
# fujun
# 2011.05.08
#
# == Copyright
# Copyright (c) 2010 id86 Inc.
# All rights reserved.
#
# Usage: rake wenwen:***

WENWEN_PATH = File.join(Rails.root.to_s, 'lib', 'spider', 'wenwen')

namespace :wenwen do

  desc "list spider."
  task :list_spider => [:environment] do
    require File.join(WENWEN_PATH, 'list_spider')
    Wenwen::ListSpider.new().run
  end

  desc "detail spider."
  task :detail_spider => [:environment] do
    require File.join(WENWEN_PATH, 'detail_spider')
    Wenwen::DetailSpider.new().run
  end

end