zbrj12345的博客

mac安装scrapy并创建项目，引入PyCharm 1\sudo pip install Scrapy  2\scrapy startproject mySpider 3\打开Pycharm--àopenproject---》选择命令行中创建的mySpider4、在mySpider文件夹下运行程序scrapy crawlbaidu(爬虫名称) 百度设置的反爬规则协议,scrapy遵守这些协议，但...

Python世界中Scrapy一直是爬虫的一个较为成熟的解决方案，目前javascript在网页中应用越来越广泛，越来越多的网站选择使用javascript动态的生成网页的内容，使得很多纯html的爬虫解决方案失效。针对这种动态网站的爬取，目前也有很多解决方案。其中Selenium+PhantomJS是较为简单和稳定的一种。Selenium是一个网页的自动化测试工具，其本身是用python编写的。...

背景命令行下有三种安装Scrapy的方式：apt-get:千万不要用，因为你会下载到一个上古时期的Scrapy版本，产生一系列与你参考教程的代码不兼容的问题easy_install:我没有安装成功pip:Scrapy官网上推荐的下载方式，我们使用这种方法安装首先python、lxml、OpenSSL这些工具Ubuntu是自带的，不用管它们。其次安装pip，在命令行中执行以下命令：sudo apt-...

转自http://jiayi.space/post/scrapy-phantomjs-seleniumdong-tai-pa-chong#fb_new_comment很多网页具有动态加载的功能，简单的静态页面爬虫对它就无能为力了。这时候就需要PhantomJS+Selenium两大神器，再加上Scrapy爬虫框架，就可以拼凑成一个动态爬虫。PhantomJS简单点说PhantomJS就是一个没有界...

# -*- coding: utf-8 -*-import scrapy,re,osfrom PY_2018_03_17.items import TuKuItemfrom urllib import requestclass TukuSpider(scrapy.Spider): name = 'tuku' allowed_domains = ['lanrentuku.c...

# -*- coding: utf-8 -*-import scrapyfrom urllib import requestfrom Py06_2018_3_16.items import TencentItemclass tencentNextPageSpider(scrapy.Spider): name = 'tencent_next_page' allowed_do...

# -*- coding: utf-8 -*-import scrapyfrom urllib import requestfrom Py06_2018_3_16.items import TencentItemclass TencentSpider(scrapy.Spider): name = 'tencent' allowed_domains = ['hr.tence...

#日志文件LOG_FILE='qiushi.log'#LOG有等级#日志等级LOG_LEVEL='INFO'#5个级别的日志#最高等级5 --严重错误 --CRITICAL#等级4 --一般错误 --ERROR#等级3 --警告信息 --WARNING#等级2 --一般信息 --INFO#等级1 --调试信息 --DEBUG#是否启用日志LOG_ENABLE=True...

# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport ...

#导入scrapy模块：如果变红，去选择一个编译环境，如果没有scrapy，点“+”添加import scrapy#新建一个爬虫类#格式：class 爬虫名称Spider(scrapy.Spider)class BaiduSpider(scrapy.Spider):# 1.指定一个爬虫名称 name='baidu'#2.初始启动链接 # start_urls名字固定...

我目前主要的学习资源是 Scrapy 官方文档 以及 百度，个人比较喜欢去官网，虽然全英文，学习起来比起看别人的中文博客要慢很多，但是毕竟官网上给出的解决方案都是保持更新的，现在的很多博客都是一两年前的文章，随着版本跟新很多方案可能不再适用，所以我一边学习，一边更新博客，尽量语言简洁，不扯duzi，但又尽量 step by step，提高内容的实用性。为了使用 Scrapy 框架开发，同时尽量减少...