weixin_47481982的博客

避免警告提示推荐使用SQLAlchemy需要先安装SQLAlchemy库： pip install sqlalchemy。

页面获取后发现是经过ob混淆的页面源代码，处理起来难度又更高了(最后总结发现并非全部混淆只是哈有ob混淆的代码就以为运用上了)，最后几经思考了解到利用日志定位到页面加载的数据从而获取加载过了什么数据，等于抓包软件抓取的原理。（虽然后面发现可以定位页面获取想要的数据并没有ob混淆只是部分运用了，但获取请求的返回更高效不需要翻页请求一次获取全部内容，并且摸索学会了新的爬取技术）成功获取到数据，因为此网站的数据是直接返回所有当天的所有机票数据，所以更方便不需要跳转页面来获取，只需要对数据进行提取即可！

网络上设立了许多各种反爬的监测各式各样，但并不会非常的深入，如果要仔细获知应用了什么监测需要在控制台全局搜索webdriver去逆向分析一下再去设置将selenium伪装。接着就是遇到需要登录的操作，部分网站没有登录是不允许加载出请求等，这种情况只需要获取cookies然后再载入到selenium即可。在载入cookies前要先载入一下页面再加入cookies，加入后要在网站刷新才会生效。（功能约束貌似没办法解决）上面操作基本上满足市面上大部分反监测上的应用伪装按需添加即可。

因为考虑到登录用邮箱比较好，所以设置了邮箱unique=Trueusername = models.CharField( # username是必需有的字段，字段名不能错verbose_name='用户名')password = models.CharField(max_length=256,null = False,blank=False,verbose_name="密码")

Jsonp 是 json 的一种使用模式，可以让网页从别的域名网站中获取资料，即跨域读取数据。jsonp的基本思想是，网页通过添加一个元素，向服务器请求JSON数据，这种做法不受同源政策限制；服务器收到请求后，将数据放在一个指定名字的回调函数里传回来当通过元素调用数据时，响应内容必须用javascript函数名和圆括号包裹起来。而不是发送这样一段JSON数据，这就是JSONP中P的意义所在。

使用：jsencrypt.min.js，pip install pycryptodome因为Django的Modelform使用起来很方便所以多数接受我都是直接用此方法，然而要用jq就必须输要有标签，在测试后发现可以直接将Modelform的{{}}语句直接替换成标签照常使用Modelform的同时还能用上jquery。

记录一下scrapy实现分布式爬虫以及布隆过滤器的使用：所用版本： pip install scrapy==2.5.1 pip install scrapy-redis==0.7.2 版本问题，有的版本过高会导致scrapy-redis无法正常使用，卸载安装过的库只需要执行命令pip uninstall scrapy即可卸载其他同理。 报错：from collections import Iterable Im

本次记录尝试你想某视频平台播放量：主要思路：（不断debug，观察代码设计还原实现）1.播放量增加必定是点击播放后的记录2.清空监视器，点击播放开始debug，截取到的就代表包含了增加播放量的包3.验证截取到的包，测试看哪一个是包含增加播放量的4.还原模拟发送请求浏览器逆向debug没有捷径只能不断练习找感觉。懂Java、js越多越好，虽然看的都是经过混淆的代码，但还是能看到实现的过程（本人也还在学习阶段）测试了超级久太多内容了，这里我也就只能记录还原实现的过程吧。

记录中大网校破解登录后爬取的方法：使用工具：打码平台（超级鹰）分析此请求，得知没有data，保持状态登录需要服务器知道是这个用户对应请求的相应验证码，所以要用session来维护状态获取到后验证码保存下来。

股票js逆向，全解析，js调用实现无限次数请求

爬虫学习日常记录：enicode反扒技术练习网址：大众点评OCR使用：百度智能云字体识别。

有道翻译，js逆向，报错相关记录

百度地图api获取经纬度，以及周边配套设施

Numpy知识点，详细讲解用法

pyechart 柱状图、地图表、饼图，图解

python爬虫，selenium、超级鹰处理b站验证码以及遇到的问题

小蓝对一个数的数位之和很感兴趣，今天他要按照数位之和给数排序。当两个数各个数位之和不同时，将数位和较小的排在前面，当数位之和相等时，将数值小的排在前面。例如，2022 排在 409 前面，因为 2022 的数位之和是 6，小于 409 的数位之和 13。又如，6 排在 2022 前面，因为它们的数位之和相同，而 6 小于 2022。给定正整数 n，m，请问对 1 到 n 采用这种方法排序时，排在第 m 个的元素是多少？

python DFS深度优先搜索，实现迷宫最短路径

python BFS广度优先搜索，迷宫问题，寻找路径

cmp_to_key是functools库里的一个函数，它可以配合sort与sorted完成自定义排序的功能，引用的方法是:from functools import cmp_to_key，下面用一道例题来记录演示一下它的用法

　Counter作为字典dicit（）的一个子类用来进行hashtable计数，将元素进行数量统计，计数后返回一个字典，键值为元素，值为元素个数Counter创建：有多种方式可以创建from collections import Counterlists=[2,3,2,2,3,4]dicts={'a':2,"b":3,"c":2}a=Counter(lists)b=Counter(dicts)c=Counter(a=2,b=3,c=2)print(a)print(b)pri

python标准库有许多，其中deque模块是collections库里的，快这也就代表我们能更简便的代码实现数据结构队列长话短说这里记录与分享一下利用deque完成队列的重要语句，先附上一张图便于了解引用deque模块：from collection import deque即可直接使用下面的语句deque()创建...

python heapq库实现堆与对排序的用法，引用库的方法：import heapq；如果想省去前缀就使用from heapq import*

快速排序属于高端的排序算法，是不稳定的排序算法，最坏状况下则需要 Ο(n2) 次比较，但这种状况并不常见。事实上，快速排序通常明显比其他 Ο(nlogn) 算法更快，它的内部循环可以在大部分的架构上很有效率地被实现出来。

选择排序是不稳定的，插入排序是稳定的，时间复杂度都是O（n^2）

实验目的(1) 帮助学生掌握RSA公钥系统的密钥生成、加密和解密过程, 能够利用所学过的编程语言, 熟悉RSA公钥加密算法流程与编程实现加密算法. 掌握编程实现实际问题中的方法, 提高解决问题的能力.(2) 要求学生掌握算法的程序实现的方法,能应用密码算法的特点, 设计合适的交互界面, 并能正确实现应用编程.(3) 要求学生掌握用规范的方法书写实验报告.实验仪器设备/实验环境(1) PC Windows操作系统, 使用python语言编程, 或者使用数学软件MATLAB、Maple编程.

冒泡排序时间复杂度是O(n^2)，是一种稳定的算法

蓝桥杯python数据结构回顾，归并排序

幻方加密是基于罗伯法的填数自动生成阶级数阵来作为密钥，要明白幻方加密，首先就要先了解罗伯法的规律，编写代码时幻方加密的情况分为了3种情况，基数阶的填数，单偶与双偶阶，本篇实现幻方加密代码是基于python编写

python实验，置换加密解密算法原理实现，文件读取修改，课程实验置换密码加密解密过程，设明文为：4D 61 65 53 2D 4F 69 20 4E。密钥为8,1,6,3,5,7,4,9,2。求加密后的16进制密文。先思考和描述算法,也就是对明文4D 61 65 53 2D 4F 69 20 4E实现置换8,1,6,3,5,7,4,9,2。

python哈希表实现，数据结构算法，入门了解哈希表的使用场景

课程作业猜数游戏编程实践

python实现尼姆游戏

蓝桥杯试题，运行超时，希望得到指导

python datetime模块计算计算时间差，格式化时间，语句用法，时间转换

python 筛选提取输入中的内容