324day(pyspider实例2)

最新推荐文章于 2023-12-11 12:00:00 发布

原创最新推荐文章于 2023-12-11 12:00:00 发布 · 243 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍使用Pyspider爬虫框架抓取B站视频排行榜的具体实现过程。通过定义Handler类及相应方法，定时获取指定页面上的视频链接，并进一步抓取详情页中的关键信息如UP主名称和视频标题等。

《2018年8月23日》【连续325天】

标题：pyspider实例2；

内容：

尝试用pyspider爬取了一个网站的视频排行，非常便利：

class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://www.bilibili.com/ranking/origin/0/0/3', callback=self.index_page,validate_cert=False)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('.title').items():
            self.crawl(each.attr.href,
                       callback=self.detail_page,validate_cert=False)

    @config(priority=2)
    def detail_page(self, response):
        return {
            "url": response.url,
            "up": response.doc('.user > .name').text(),
            "title":response.doc('h1 > span').text(),
        }