qq_44182694的博客

总体步骤： （一）首先下载夜神模拟器 （二）模拟器配置 （三）下载mitmproxy与mitmdump并安装证书 （四）试验一下 （五）正式爬取数据 我们接下来用三篇文章来简要说下爬取步骤： （一）首先下载夜神模拟器 自己去官网下载就行 然后点击 新建一个安卓5的系统 点那个播放键就可以启动模拟器了 在那里面下载个抖音app 为了以后方便控制，可以在上面的设置（齿轮状那里） （1）看看是否开启root （2）在齿轮左面这里 点第一个，设置置顶 （二）模拟器配置 在应用中心下载xposed框架，这是

（五）正式爬取数据 爬取数据的脚本如下 记得更改下数据存放的位置就可以了 下面程序里也有注释 import json import csv def parser_aweme_info(parser_aweme_info_data): aweme_data=[] # related_word=[] print("*"*100) print("解析视频信息数据") print("*" * 100) info_data=json.loads(parser_aw

三）下载mitmproxy与mitmdump并安装证书 在python的命令行内输入： pip install mitmdump pip install mitmproxy 【如果你已经提前安装上了anaconda，那么推荐你在 prompt命令行下运行】 安装完后，打开windows cmd命令行 输入 mitmdump 会有一个listen at http://* 8080的输入 然后关掉命令行就行了 这时候去c盘的用户目录下 进入你的账号的那个文件夹 进入找一个.mitmproxy的文件夹【

计算机网络 OSI七层网络模型 网络的七层架构从下到上主要包括物理层、数据链路层、网络层、传输层、会话层、表示层和应用层，如图6-1所示。 ◎ 物理层主要定义物理设备标准，它的主要作用是传输比特流，具体做法是在发送端将1、0转化为电流强弱来进行传输，在到达目的地后再将电流强弱转化为 1、0，也就是我们常说的模数转换与数模转换，这一层的数据叫作比特。 ◎ 数据链路层主要用于对数据包中的MAC 地址进行解析和封装。这一层的数据叫作帧。在这一层工作的设备是网卡、网桥、交换机。 ◎ 网络层主要用于对数据包中的IP

先上程序（爬取百度热榜） '百度热榜爬虫' import requests from lxml import etree import os if __name__ =='__main__': header = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4442.4 Safari/537.36' } url