windmillsign的博客

scrapy+selenium爬取需要登录需要验证码的网站 站在巨人的肩膀上 采取了大神的思路，加上自己项目的需求 点击打开大神文章连接 本文只是将结果打印了出来，没有保存过程，后续会继续写文章 思路注释上都有，就不墨迹了 import json import time import urllib import urllib.request from pathlib import Path import scrapy from scrapy.http import Request,FormRequest

转载并修改 源博主网址：https://www.xncoding.com/2016/03/10/scrapy-02.html 创建爬虫项目： scrapy startproject coolscrapy 创建名为db的爬虫： scrapy genspider -t basic db douban.com 开始爬数据 scrapy crawl db 爬出报错可能的原因： 1、没有关闭机器人协议 2、没有加请求头 这篇文章我们通过一个比较完整的例子来教你使用Scrapy，我选择爬取虎嗅网首页的新闻列表。