xkx_07_10的博客

http://www.apl.com/ebusiness/schedules在提交的时候会有一个参数：g-recaptcha-response 需要根据网站的siteKey 去谷歌验证获取主要代码在这：$(function () { $("#searchSchedules").click(function (event) { if (typeof grecap...

https://www.cnblogs.com/alan-babyblog/p/5527934.html

从数据库获取数据import scrapyimport pymysqlfrom scrapy.conf import settingsclass CoscoSailingScheduleSpiderSpider(scrapy.Spider): name = 'cosco_sailing_schedule_spider' allowed_domains = ['eli...

1. settings 设置2. spiders 中直接 import logging 然后 直接调用import logginglogging.info('这是INFO')3.控制台不再输出日志，全都保存到日志文件中了

爬取过程中经常会遇到多个请求需要同一个session（cookies）的操作。对于requests 库来说，使用较为简单:import requestssession = requests.Session()def get_page(url, model): try: data = { ... } if m...

场景1：项目中有多个爬虫时，将driver对象的初始化放在各个spider中#!/usr/bin/env python# -*- coding: UTF-8 -*-'''@author: carry@time: 2019/6/19 15:56@desc:'''import scrapyfrom selenium import webdriverfrom scrapy imp...

技巧1： 有时候浏览器看到的源代码和selenium返回不一样 。可能是多个frame 或者多个windows 多层框架或窗口的定位： driver.switch_to_frame()# 括号内是 iframe 的id 或者name 或者 index driver.switch_to.parent_frame() # 切回到...

"""@Time : 2018/12/10 19:39@Author : Carry@File : SimpleHash.py"""import redisfrom hashlib import md5class SimpleHash(object): def __init__(self, cap, seed): self.cap = c...

1.页面看到的文字实际由另一个字经过字体库映射而得2.网页会在加载的时候载入字体库 （可能有多个字体库），将此字体下载下来，通过font creator（字体工具）打开可以看到对应表，遍找到了映射关系。（笨方法到这直接对着写map就可以了）3.用python 将.woff的字体文件 转成 XML 读取其中的映射。下图为第一层映射，根据code 可以得到 name...