BradyCC的博客

Scrapy 爬取盗墓笔记小说 应用 Scrapy框架 爬取盗墓笔记小说数据，存入MongoDB 数据库。 # settings 配置mongodb MONGODB_HOST = '127.0.0.1' MONGODB_PORT = 27017 MONGODB_DBNAME = 'MySpider' MONGODB_DOCNAME = 'daomubiji' # items 配置抓取数据字段...

Scrapy 爬取全职高手小说 应用 Scrapy框架 爬取全职高手小说数据，存于本地json文件。 # items 配置抓取数据字段 import scrapy class NovelItem(scrapy.Item): bookName = scrapy.Field() chapterNum = scrapy.Field() chapterName = scrap...

Scrapy 配置动态代理IP 应用 Scrapy框架 ，配置动态IP处理反爬。 # settings 配置中间件 DOWNLOADER_MIDDLEWARES = { 'text.middlewares.TextDownloaderMiddleware': 543, # 'text.middlewares.RandomUserAgentMiddleware': 544, ...

Scrapy 伪分布式爬虫 应用 Scrapy框架 ，使用redis实现伪分布式爬虫。 # settings 配置redis SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER_PERSIST = True # ...