FATCATS博客

selenium+middlerwares

Scrapy管道持久化操作

1.下载selenium模块下载chromedriver.exe可执行文件chromedriver.exe文件pip install selenium2.自动化测试from selenium import webdriverfrom time import sleepbro = webdriver.Chrome(executable_path='./chromedriver.exe')bro.get('https://qzone.qq.com/')# 转换到frame中bro.

Ajax抓包

spider 爬虫

1.环境准备python3.9pycharm(版本随意)python官网安装pycharm下载地址选择对应的版本下载2.配置pycharm安装python的时候，有些朋友会碰到安装完毕之后，不知道python的根目录到哪里去了，他是在隐藏文件AppData中的program中去的先显示隐藏的文件夹python被安装到默认目录下面去了，一直点击查看就好了C:\Users\Administrator\AppData\Local\Programs\Python\Python37

1.IOS设备配置抓包操作和Android无很大本质差别，下载证书以及配置证书的过程查看详情Android的配置Fiddler 不可以乱使用【教程】（二）也是访问到了网址，并且下载证书然后到设置中==描述文件中选择安装之后，还需要添加一个步骤找到通用—》证书信用设置 需要打开证书信任开关，然后再进行测试即可完成...

1.如何设置手机抓包？首先声明，需要在Android7及其以下版本才能允许成功，或者是在root权限的授权之下才能成功，否则一切失败都是因为安全性过于强大！WLAN---->代理---->手动代理主机名：fiddler 地址端口：自己设置的监听端口2.下载信任证书# 浏览器搜索ipv4:端口 # 例如： 127.0.0.1:8080点击FiddlerRoot certificate下载证书3.添加证书设置---》安全----》更多安全设置选择安装CA证书，

1.安装fiddler链接：https://pan.baidu.com/s/1Dy9ZDof76ScyFf4Rr_AsIg 提取码：5dzw2. Rules隐藏链接（tunnel to）3.Tools --> Option工具设置系统为全局代理抓取HTTPS包特殊访客 firefox4.工具条的详细使用添加备注（小短信） – file-export 导出文件Replay 重新发送请求 （重放攻击）delete 删除当前选中 、 shift

问题描述如下：下载速度慢至几kb/s，下载一个什么东西都需要很久很久才能下完，而且可能会引起中途中断，然后就是白下了，又要重新下将加速地址设置为默认的下载地址加速C:\Users\Dell\PycharmProjects\pythonProject\venv\Scripts>pip install pip -URequirement already satisfied: pip in c:\users\hua jiang\pycharmprojects\pythonproject\venv

在安装模块的时候发现系统报错如下：ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: 'C:\\Users\\Dell\\AppData\\Local\\Temp\\pip-req-tracker-_nyodpl_\\e497bd74205deb88b286d3556502f61a4d67dd2b0bf63d8a57f23ee7'WARNING: You a