Damingxkl

（一）、Scrapy框架介绍：我们写一个爬虫，需要做很多事情，比如：发送网络请求、数据解析、数据存储、反爬虫、反反爬虫（更换ip代理、设置请求头等）、异步请求等。这些事情在我们每一次写爬虫代码的时候都要自己从零开始写的话，比较浪费时间。因此 Scrapy 把一些基础的东西封装好了，在它上面写爬虫可以变的更加高效。（二）、Scrapy架构图及各个组件：流程图（1）：流程图（2）：Scra...

DouyuSpider今天学习了xpath方法， 拿斗鱼主播的房间信息做一个练习，有不足之处希望各位大佬帮忙斧正。#encoding=utf-8from selenium import webdriverimport time, jsonclass DouyuSpider: def __init__(self): self.start_url = "http...

抓取代码#encoding=utf-8import requestsimport jsonimport reclass NeihanSpider: def __init__(self): self.headers = {"user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/53...

第一次尝试Spider,是个突破#encoding=utf-8import requestsimport reclass MaoYantop: def __init__(self): self.url = "https://maoyan.com/board/4?offset={}" self.headers = {"user-agent": "M...