qq_42827960的博客

废话不多说, 直接上代码! ! !import jsonimport osimport timefrom urllib.request import urlretrieveimport requestsimport datetimeimport urllib.parseimport re"""接口连接 http://pic.haibao.com/ajax/image:getH...

这是一个具备可扩展功能的爬虫!!!import osimport requestsfrom fake_useragent import UserAgentfrom retrying import retryimport hashlib # 信息摘要 md5import queue # 队列import re # 正则表达式from urllib import robotpa...

猫眼电影里面的实时票房, 票房占比等信息是字体加密的, 所以要爬取这些信息需要解决字体加密这个问题. 下面介绍一种解密字体的办法.在橙色方块标注的地方我们可以看出字体是加密的, 我们就以这部分字体为例进行解析.首先我面要找到加密的字体, 查看网页源代码, 搜索font-family, 找到base64后面的字体字符串, 下图中方框中的部分.创建一个font_cat.py的文件, 并将这部分...

该网页只有在刷新时, 才能显示后面的页面, 且页面会打开新的页面, 跳转时需要的cookies, 由第一个页面的cookies动态生成.下面是具体代码:import requestsimport reimport lxml.htmlclass ExamSpider(object): def __init__(self): self.base_url = 'ht...

因为魔方公寓的评论信息是在一个单独的div中, 需要模拟鼠标滚动才能拿到评论信息, 并且每次只能拿到在页面显示的内容, 页面没有显示的取出来的是空. 因此只能在每次滚动后取值保存.代码:import timeimport win32api, win32confrom win32api import GetSystemMetricsfrom selenium.webdriver.commo...

方法一：直接POST数据（比如需要登陆的账户信息）只要是需要提供岗位数据的，就可以用这种方法下面示例后的数据是账户密码：import scrapyclass Renren1Spider(scrapy.Spider): name = "renren1" allowed_domains = ["renren.com"] def start_requests(self...

我们在scrapy框架做爬虫的时候,对于不同规则的页面,需要写不同的爬虫文件,在这种情况下,部分代码需要重复书写很不方便,对于这种问题.我们可以通过json文件加载解析规则的方法,来解决这样个问题.同时在爬取到的数据中也有一些数据是我们不需要的,同时数据的类型/格式也可能不是我们需要的.需要对数据进行清洗整合才能达到我们的需求,并保存.1.创建一个json文件,并把页面的解析规则写入json文...

由于智联的页面是由js动态加载的,一般的方法只能得到js加载前的页面,为了得到加载过的页面需要通过模拟浏览器来拿到完整的页面.下面的代码只是简单的实现,爬取智联页面的部分功能,其他根据需要自己实现中间件(middleswares.py)代码:from scrapy.http import HtmlResponsefrom selenium import webdriverimport ...

因为京东的页面是由JavaScript动态加载的所以使用模拟浏览器的方法进行爬取,具体代码如下 :spider.py# -*- coding: utf-8 -*-import scrapyfrom scrapy import Requestfrom jdpro.items import jdproItemnum = 0class MaskSpider(scrapy.Spider):...

淘宝在不登录的情况下, 许多信息没有显示, 而在登录滑块验证时, selenium模拟会被检测出来, 所以我们利用手机扫码登录, 保存cookies并实现之后登录访问.登录并保存cookieimport jsonfrom selenium import webdriverfrom selenium.webdriver.firefox.options import Optionsopti...