cute_boy_的博客

fiddler手机抓包准备工作1、配置fiddler（完成之后记得重启）2、确保电脑跟手机处于同一局域网解释：电脑端可以ping通手机那么问题来了：怎么操作呢方法：你的笔记本跟手机直接连接在同一个wifi下面就好啦（so easy）3、手机端下载fiddler证书手机访问“电脑ip地址”+刚刚设置的端口号（8889）并下载证书证书下载完成之后点击完成并为证书命名4、成功前的最后一步，手机配置代理修改网络手动设置ip5、大功告成（注意一点fiddler打开的

b站视频爬取（未封装）1、随便选取一个视频进行分析经过分析得出视频有两部分（一个音频一个视频）2、代码（将对应的MP3、MP4保存起来）from urllib import request# 为请求添加请求头opener = request.build_opener()opener.addheaders = [ ('Referer','https://www.bilibili.com/bangumi/play/ep199612?from=search&seid=17094

python爬取百度使用kw关键字爬取时出现，百度安全验证，解决方法之前爬取百度用kw时的代码（没有任何问题）import requestsurl = 'http://www.baidu.com/s'headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36",}

无界面浏览PhantomJS出现错误解决办法首先找到phantomjs.exe将其复制到python安装位置中的Scripts中

Session 和 Cookie 的联系Session 对 Cookie 的依赖：Cookie 采用客户端存储，Session 采用的服务 端存储的机制。Session 是针对每个用户（浏览器端）的，Session 值保存在服 务器上，通过 SessionId 来区分哪个用户的 Session。因此 SessionId 需要被 绑定在浏览器端。 SessionId 通常会默认通过 Cookie ...

request请求出现：requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed解决办法在请求中添加一个参数verify=False

基于python网易云音乐歌手名爬取import osimport timeimport requestsimport threadingfrom lxml import etreefrom queue import Queue# 创建获取所有类型路由的线程类class GetMain(threading.Thread): # 初始化函数 def __init__(...

SyntaxError: Non-UTF-8 code starting with ‘\xbd’ in file在代码头部添加：# encoding=gbk

xpath与re的匹配速度对比因为xpath在匹配时需要将字符转进行格式转换所以在运行速度方面会有所前却

xpath获取当前节点的兄弟节点<div> <a id="1" href="www.baidu.com">1</a> <p>我是p标签</p> <a id="2" href="www.baidu.com">2</a> <a id="3" href="www.baidu.com...

window中设置定时任务执行python程序1、在cmd中输入compmgmt.msc打开计算机管理2、在系统工具中找到计划任务程序并点击3、创建基本任务4、点击下一步5、点击下一步67、8、点击完成即可（如需要更详细的配置则需要勾选“下面的小方框”然后再进行操作）...

网易云音乐外链格式http://music.163.com/song/media/outer/url?id=（歌曲的id）.mp3

json中dumps、dump、loads、load详解dumps:将字典转换成json字符串import jsona = { "a": "1111", "c": "3333", "b": "2222", "d": "4444" }print(json.dumps(a))输出：{"d": "4444", "b...

search与match的区别都是匹配一次制定的字符，re.search是从字符内部开始匹配，而match是从头部开始匹配，也就是说，如果开头没有，search会继续向后匹配，match会返回none...

贪婪匹配尽可能多的匹配字符示例import rehtml = '''<img src='1.jpg'><img src='2.jpg'><img src='3.jpg'>'''result = re.findall(r"<img src='(.*)'",html)print(result)输出结果["1.jpg'>&lt...

http常用状态码200：请求成功301：永久重定向302：临时重定向400：请求的url在服务器上找不到403：服务器拒绝访问，权限不够500：服务器内部错误，服务器内部bug...