qew110123的专栏

有很多情况，尤其是爬虫方向经常会有些小任务，获取某某数据，但是也是临时的，去一个一个字段的解析，有很费解，当然有些网站提供些数据，但是让人很无语，收费现在提供通用json 转成excel表格的方法# -*- coding: utf-8 -*-"""品牌排行榜Create by scz on 2022-01-07."""import jsonimport tablibimport requestsfrom utils import get_loggerfrom storage

# -*- coding: utf-8 -*-"""Create by scz on 2022-01-07."""num = 1datas = []datas1 = []def fun(): num = 123 print(num) datas.append(num) datas1 = [num]fun()print(num)print(datas)print(datas1)此时没有使用global关键字，无法对全局变量num进行...

mitmproxy 抓包工具，优点可以使用python进行二次开发，或者进行接口的mock官网地址：mitmproxy - an interactive HTTPS proxy打算用这个最初的需求是，想对app做接口测试，但是app的接口有200多个，这么多接口，如果人工的的抓包或者获取，很浪费人力，那能不能自动的抓取到所有的请求呢？答案是可以，使用mitmdump -s xx.py 可以过滤我们想要的数据，比如存到数据库之类的from mitmproxy import ctx#

通过app进行获取时发现返回的不是单纯的json如m和c 可以确认是获取的对应的数据码，但是j 就是通过某些编码，通过脱壳发现还是json对称加密发现是先通过64位加密，之后是gzip加密上代码import osimport jsonimport codecsimport base64import gzipimport copyimport timeimport re# import datetimefrom datetime import datetime, .

使用selenium在添加cookie提示错误：Traceback(mostrecentcalllast):File"I:/Dropbox/python/spider/zhihu/post.py",line37,in<module>z.loadCookie()File"I:/Dropbox/python/spider/zhihu/post.py",line31,inloadCookieself.browser.add_cookie...

这个周末突然接到电话，要监听一个网页内容，如果网页发生了变化，需要邮件通知。第一感觉这个事应该挺简单的啊，用爬虫把页面读取下来，如果和上次爬取的内容不一样，不就说明发生了变化了嘛。这个时候我把改网页打开，突然发现，what，竟然是要登录后才能跳转到想要的网页，心想这个也没有什么吗，大不了我把账号，密码填进去不就ok了么，当我把账号密码填进去，又TM出幺蛾子了，竟然出现了如下的滑动验证码。这个时候，我心里一万个羊驼奔驰而过，就一个网页监听，至于这么事么，为了完成领导的安排，我还是踏实的的解决吧。记得以前看

from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom time import sleepclass taobao_infos: def __init__(self,url): self.url = 'https://login.ta...