iamyzy00的博客

导包 requests、 import requests from threading import Thread from queue import Queue from lxml import etree #使用xpath获取网络数据 url = 'https://www.qiushibaike.com/8hr/page/%d/' # 1.给出爬取网站的url head...

武沛齐爬虫博客 https://www.cnblogs.com/wupeiqi/articles/5354900.html

介绍 Scrapy，通过python语言编写的爬虫框架，非常的强悍 组成：5部分 1.Scrapy Engine(引擎) 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等 2.Scheduler(调度器) 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎 3.Do...

Python 3.6.0 环境变量 C:\Users\admin\AppData\Local\Programs\Python\Python36\Scripts C:\Users\admin\AppData\Local\Programs\Python\Python36\ PyCharm 2017.2.4 激活码 server 填 http://idea.liyang.io C:\office\...

创建scrapy项目 1.使用终端来创建项目 命令：scrapy startproject baidu 弹出： New Scrapy project 'baidu', using template directory 'c:\\office\\xldoc\\xlvirtualenvs\\testenv\\lib\\site-packages\\scrapy\\templates\\proje...

1，redis安装 修改配置文件redis-windows-conf bind 127.0.0.1 改为 bind 127.0.0.1 protected-mode yes 改为： #protected-mode yes protected-mode no 2.启动redis C:\office\xlsoft\redi>命令： redis-server.exe redis.windows.c...