查理曹的博客

xcv

今天早上无聊，去笔趣阁扒了点小说存Mongodb里存着，想着哪天做一个小说网站有点用，无奈网太差，爬了一个小时就爬了几百章，爬完全网的小说，不知道要到猴年马月去了。再说说scrapy这个爬虫框架，真是不用不知道，一用吓一跳，这个实在太好用了，比自己用request，Beautifulsoup这些模块来爬，实在要简单不知多少倍。废话不多说，现在开始上代码。首先用virtualEnv创建虚拟环境并pi...

在 movie 的setting中，会有spider这个类，里面有种子url以及解析import scrapy from douban.items import MovieItem class MovieSpider(scrapy.Spider): name = 'movie' allowed_domains = ['movie.douban.com'] start_u...

class SpiderThread(Thread): def __init__(self, spider, tasks): super().__init__(daemon=True) self.spider = spider self.tasks = tasks def run(self): while True: pass