ruby 爬虫 Spidr 用法

关注

翻译最新推荐文章于 2026-07-11 09:29:01 发布 920 阅读 AI 写同款· GEO 优化 ›

百度搜索引擎爬虫实战：Ruby实现本文还有配套的精品资源，点击获取简介：本项目涉及使用Ruby编程语言开发一个百度搜索引擎爬虫，通过自动化手段抓取和分析百度搜索结果。该项目的实现将涵盖网络请求发送、HTML内容解析、正则表达式使用、异步/并发处理、数据存储、延迟与速率控制、异常处理、爬虫框架应用、搜索引擎工作原理理解以及SEO分析等多个方面，旨在深入学习Ruby编程和搜索引擎机制。 1. Rub... 阅读详情

Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。

安装方法：sudo gem install spidr

从一个网址开始爬

  Spidr.start_at('http://tenderlovemaking.com/')

爬一个host:
```
  Spidr.host('coderrr.wordpress.com')
```
爬一个网站：
```
  Spidr.site('http://rubyflow.com/')
```

多个 hosts:

  Spidr.start_at(
    'http://company.com/',
    :hosts => [
      'company.com',
      /host\d\.company\.com/
    ]
  )

忽略某个地址:

  Spidr.site('http://matasano.com/', :ignore_links => [/log/])

忽略端口:

  Spidr.site(
    'http://sketchy.content.com/',
    :ignore_ports => [8000, 8010, 8080]
  )

打印出爬到的网址:

  Spidr.site('http://rubyinside.org/') do |spider|
    spider.every_url { |url| puts url }
  end

打印出失败的网址:

  Spidr.site('http://sketchy.content.com/') do |spider|
    spider.every_failed_url { |url| puts url }
  end

搜索 HTML 或 XML 页面:

  Spidr.site('http://company.withablog.com/') do |spider|
    spider.every_page do |page|
      puts "[-] #{page.url}"

      page.search('//meta').each do |meta|
        name = (meta.attributes['name'] || meta.attributes['http-equiv'])
        value = meta.attributes['content']

        puts "    #{name} = #{value}"
      end
    end
  end

打印出每个页面的title:

  Spidr.site('http://www.rubypulse.com/') do |spider|
    spider.every_html_page do |page|
      puts page.title
    end
  end

F访问表头来获取网站用的那种web servers:

  servers = Set[]

  Spidr.host('generic.company.com') do |spider|
    spider.all_headers do |headers|
      servers << headers['server']
    end
  end

在被禁止的页面停止spider:

  spider = Spidr.host('overnight.startup.com') do |spider|
    spider.every_forbidden_page do |page|
      spider.pause!
    end
  end

跳过处理一些页面:

  Spidr.host('sketchy.content.com') do |spider|
    spider.every_missing_page do |page|
      spider.skip_page!
    end
  end

跳过处理一些链接:

  Spidr.host('sketchy.content.com') do |spider|
    spider.every_url do |url|
      if url.path.split('/').find { |dir| dir.to_i > 1000 }
        spider.skip_link!
      end
    end
  end