dandanfengyun的博客

scrapy-splash是为了解决 scrapy不能够解析JavaScript加载的网页这一问题而存在的。 splash作为js渲染服务，是基于Twisted和QT开发的轻量浏览器引擎。 scrapy-splash模块主要使用了Splash。 也就是说，splash作为一个中间代理将结果返回。 splash官方文档https://splash.readthedocs.io/en/stable/ ...

python 安装scrapy 爬虫框架 正常情况下直接 pip install scrapy即可安装成功 window下可能报错 Command “d:\python\python.exe -u -c “import setuptools, tokenize;file=‘C:\U sers\ADMINI~1\AppData\Local\Temp\pip-install-hgx6anap\Twis...

爬虫 scrapy 单独执行 spider模块 创建 .py 文件 名称随意 可用 minispider.py 内容 class Minispider(scrapy.Spider): name = 'minaspider' def start_requests(self): print('1, start request') urls = ['http://www.qidian...

创建项目 scrapy startproject project_name 创建spider cd project_name scrapy genspider 模块名 网址 scrapy genspider hangzhou www.xxxx.com 目录结构 ├── hangzhounews – 项目根目录 │ ├── init.py │ ├── pycache...