- 博客(50)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 windows系统如何设置定时来执行python脚本
使用batch命令来编写的bat脚本。新建一个test.bat文件，写入代码，替换自己的脚本路径即可。作用是间隔一小时整点运行脚本。
2024-04-16 18:30:39
433
原创 python 如何使用windows系统自带的定时功能运行脚本
1.搜索栏搜索‘任务’，打开任务计划程序，点击创建任务2.写一下任务名称和描述3.选择触发器，点新建，可以创建定时计划4.默认只有一次，每天，每月，每周，但是如果勾选重复任务间隔，就可以循环执行任务，而且亲测此处的任务间隔是指每次脚本开始时，间隔固定时间再启动脚本。举例如果我们想让某一脚本从中午12:00开始，每两小时准点运行一次，就可以将开始时间改为12:00，重复任务间隔改为2小时。持续时间无期限。5.设置好定时之后，我们来添加任务，选择操作-新建6.脚本或程序这块选择我们自己的python解释器，添加
2024-04-16 14:15:47
511
原创 mysql 多个字段组合查询，删除重复值
需求是删除aws_shein_official_item_price表中sku和site两个组合起来重复的值。进行比较，并删除不在子查询结果中的记录，从而保留了。在这个查询中，我们首先使用子查询找到每个。值，然后在外部查询中将这些。
2024-04-07 11:24:37
326
1
原创 CryptographyDeprecationWarning: Blowfish has been deprecated “class“: algorithms.Blowfish,
1.使用cryptography的旧版本，例如：pip install cryptography==3.4.7。亲测使用后，可能会因版本过低导致其他模块不兼容。是因为paramiko 的依赖cryptography不兼容。2.直接点击报错位置，将源码这块屏蔽。
2023-08-09 16:22:22
8733
原创 playwright 不使用无痕模式及设置cookie
3.另一种方案保存及设置cookie。保存cookie,可以手动使用。1.如何实现不使用无痕模式。2.设置cookie。插件来导出cookie.
2023-07-03 21:35:35
4437
1
原创 AST使用（二）
如下代码，第一个条件结果永远是true,第二个条件结果永远是false，所以可以通过判断IfStatement节点下的test节点的计算结果，来显示代码，其中if 下的条件对应的是consequent，else内的代码对应的是alternate。将这段js代码解混淆如下，可以看出如果我们将raw的值变为正常，那么还原ast的时候就能的得到想要的代码。
2023-06-14 23:09:38
555
原创 AST环境安装及使用
然后通过npm install -g @babel/node 安装一个babel的命令行工具@babel/node。可以看出Parser用的是 babel/parser ,这是一个目前最流行的JS语法编译器Babel的Node.js包。babel/parser是Babel中的解析器，用于解析JS语言，本质也是一个Node.js包。3.初始化node.js项目，项目名为learn-ast,在自己的项目目录下执行下列命令。输出：该段JS代码对应的抽象语法树，既AST，它是基于ESTree规范的.
2023-06-13 10:46:04
877
原创 字体反爬之使用TTFont模块来打开字体文件
下面的路径就是字体文件的下载链接:/interns/iconfonts/file?rand=0.7275526622248008拼接域名就是下载地址，由此可以下载地址文件。可以看出日薪这个字段是设置了字体反爬的，我们直接获取数据会出现乱码，需要结合样式才可以获取文本内容。从图中可以看出，有乱码的样式都包含font这个样式，从右边可以查看font样式的位置，点击就可以跳转。这里就需要查找声明myFont的位置，才知道他是怎样的，在文件内搜索myFont可以找到定义的位置。
2023-06-11 01:54:09
1137
原创 字体反爬之设置样式来替代字体
:before ： 在css中，该字段通常创建一个伪节点，作用是往其他节点中插入内容，同时在css中使用content字段来定义内容。可以根据右边的样式来查看源文件，下图中可以看出。下载打开后，可以看出，这就是字体文件，其中存放着css的class名与具体文字的映射。我们可以更具正则来重定义该映射，以便我们使用。并且点击右边的app.654ba59e.css 就可以直接跳转到对应的css文件。被修改的字体：下图中的评分是样式设置出的字体。当然，我们也可以直接通过自带的抓包工具来获取该文件，如下。
2023-06-11 00:56:56
517
原创 反爬之css位置设置偏移量
原标题是清白家风，但是获取到的是风清白家，究其原因是css样式中设置了style='left: px'正常的顺序是按照偏移量来的，所以我们只需要抓取偏移量的值和文本值，再进行排序即可提取正确顺序的文本。
2023-06-04 11:45:59
670
原创 JavaScript 语法快速了解—不为了写，只为能看懂
元素的底部，可改善显示速度，因为脚本编译会拖慢显示。也可以放在专门的xxx.js的文件中，使用下面可以导入js文件，只要导入，可以直接调用js文件内的方法等,也可以直接通过url来导入js。标识符：只能由 数字字母下划线及$ 组成，不可以使用-,这是为减法预留的,不能使用关键字作为标识符。点击按钮就会使id为myImage的元素的src属性替换图片。点击可以使id为demo的元素的字体大小样式改为35像素。使id为demo的元素修改隐藏和显示的样式。JS脚本可被放置与 HTML 页面的。
2023-06-03 23:43:18
106
原创 某乎cookie池案例
run(playwright) 是将cookies采集到文本形成cookie池。test_cookie() 是调用cookie池获取数据。
2023-06-03 19:51:21
117
原创 python 爬虫时关于Accept-Encoding的坑
坑就来了，拿到的response.text是乱码，究其原因是br是一种压缩方式，Content-Encoding:br就导致我们爬取到的数据是乱码。某乎的请求headers中含有: 'Accept-Encoding' : 'br,gzip, deflate'1.最直接简单有效的办法是请求头的Accept-Encoding中去掉br。其响应headers中含有： Content-Encoding:br。这是brotli和python版本兼容问题导致的，需要改版本。但是这种办法依然有可能报错。
2023-06-03 19:30:11
1193
原创 session与cookie
session是一种会话机制。而在服务端，也会使用数据库或文件来储存关于用户的一个大字典（也称之为用户session），这个字典的key就是sessionId，value就是用户信息。之所以出现这种情况是因为关闭浏览器时，会话cookie会消失，所以再次访问服务器无法提供用于查询用户session的key，也就是sessionId,所以需要重新登陆。下图是查看浏览器上的一些cookie，可以看出cookie按有效期来分分为两种，一种是会话cookie，浏览器关闭时，cookie就会消失。
2023-06-03 00:51:54
506
原创 linux与unix简单比较 以及linux的种类
Gentoo:相同硬件环境下运行最快，快速、设计干净而有弹性，它的出名是因为其高度的自定制性，尽管安装时可以选择预先编译好的软件包，但是大部分使用 Gentoo 的用户都选择自己手动编译。Ubuntu: 基于知名的 Debian Linux 发展而来，界面友好，容易上手，对硬件的支持非常全面，是目前最适合做桌面系统的 Linux 发行版本，而且 Ubuntu 的所有发行版本都免费提供。Redhat系，主要有Redhat、Centos等 其中Centos系统是很多服务器用户选择的系统。
2023-06-02 23:09:58
459
原创 JS逆向——借助playwright实现逆向
3.通过查看堆栈信息，我们可以找到参数由无到有的地方，e就是token，也是在这里生成的，其生成过程传入了this.$store.state.url.index跟a ，通过查看得知this.$store.state.url.index就是/api/movie而a就是页码*10。playwright支持js文件替换,/js/chunk-10192a00.243cb8b7.js是源文件路径，chunk.js是我们本地路径。这样加载js文件时会被替换我们本地的js.这样我们可以通过js注入来调用加密方法。
2023-06-02 00:11:09
2807
9
原创 JS逆向调试时修改的代码持久化的方法
4.在源代码处-右键-在边栏中显示 定位到源码源码，关闭格式化，双击文件打开源码，将代码改好的代码粘贴并点击右键-保存并覆盖。5.之后就可以看到替换好的文件在替换中显示了，这样可以持久化生效修改的代码。3.在浏览器上方会出现这个提示，一定要点击允许。2.在下图中替换位置点击➕，创建个文件夹。1.将想要修改成的代码复制到剪切板。
2023-05-30 00:39:37
451
原创 JS逆向常见情况
代码加密：通过某种手段将代码加密，转化成人无法阅读或者解析的代码，如借用WebAssembly技术，可以将JS代码用C++实现，JS调用编译后的文件进行执行。多态变异：是JS代码每次被调用时：将代码自身立刻自动发生变异，变为与之前完全不同的代码，即功能完全不变，只是代码形式变异，以此杜绝代码被动分析和调试。字符串混淆：将字符串阵列化集中放置并可进行MD5或base64加密存储，使代码中不出现明文字符串，这样可以避免使用全局搜索字符串的方式定位到入口。无用代码注入：注入不被执行的代码，更加混乱。
2023-05-29 23:01:06
831
原创 django中使用celery
Celery介绍：核心及优点：1.基于分布式系统架构（负载均衡避免单点故障，高可用） 2.实现了异步任务的调度（快速） 只需要通过配置文件的修改就可以实现架构的切换所以灵活django-celery-beat 用于定时和周期计划django-celery-results 用于存储celery的运行结果folower 用于监控celery的运行状态使用方法：1.安装库pip install celerypip install redis2.在项目setting.py同
2023-05-29 22:11:16
1772
原创 github 上协同开发
4、接收到邀请链接的人员登录GitHub，然后浏览器打开刚才的那个邀请链接（或是点击GitHub的通知提示信息即可），点击【Accept invitation】接收邀请即可。2、点击【Settings】——>【Collaborators】，在输入框中输入待邀请加入项目中其他成员的。3、添加完成以后，点击【Copy invite link】，然后复制该邀请链接给邀请的人员。1、创建项目仓库（若存在相应项目仓库可以省略该步骤）账号，然后点击【Add collaborator】
2023-05-19 13:01:27
389
原创 linux上的nohup命令,保持命令持续执行
场景：想让django项目的命令一直在运行，需要用此命令，nohup == no hang up 不挂断的执行命令。
2023-05-19 11:08:28
443
原创 linux上安装部署django项目，uwsgi、nginx服务并启动
第二个是以“root”用户运行pip可能导致权限中断，并与系统包管理器的行为冲突。导致了更新或者下载pip时候下载失败。按Esc退出编写，保存退出（:wq），执行source~/.bash_profile命令使配置生效。scp 本地文件所在路径 服务器账号@服务器ip:放入到服务器的某个文件目录。查看python版本，例如我的是3.10.11，去。第一个是需要将pip所在目录添加到系统环境变量中。cd命令跳转至压缩文件的目录，然后解压文件。先跳转到解压后的那个python目录。我们先放着不管，先往下走。
2023-05-19 01:32:26
1706
原创 爬虫常用工具类网站
https://spidertools.cn/#/ 爬虫工具库 各种格式化 参数提取 加密解密 爬虫分享。http://tool.chinaz.com/tools/unicode.aspx 站长工具编码解码合集。http://web.chacuo.net/netproxycheck 代理服务器连接测试工具。https://www.json.cn/ json解析 json处理。https://base64.us/ Base64编码解码。
2023-05-16 10:15:37
2305
原创 Django开发
如果不自定义数据库，使用默认数据库sqlite3，则settings.py中的DATABASES不要进行修改，并且如下可以查看数据库。注意：pycharm可以创建。如果用pycharm创建，记得settings.py中删除templates删除。注意一定要在settings.py中注册app,否则app下的models.py写类时，无法在数据库中创建表。
2023-05-12 12:05:29
48
原创 django中model,form,modelform
ModelForm ===>二者结合，强大的数据验证，适中的数据库操作。在ModelForm是能够封装一个model对象。Model ==> 强大的数据库操作，弱小的数据验证。Form ==>强大的数据验证。
2023-05-07 10:49:39
67
原创 windows安装django-celery出现的问题
具体原因是 setuptools从版本58.0.0开始不再支持2to3的builds，所以导致 anyjson 安装后不再可用。使用pip安装django-celery时报如上错误。出现报错是安装anyjson>=0.3.3失败了。解决问题办法，降级 setuptools 工具版本即可。
2023-05-01 10:46:39
647
1
原创 Anaconda下如何安装第三方包
在Anaconda目录下 找到Anaconda Prompt 管理员运行打开后。例：pip install xxx。可以用pip跟conda命令安装。
2023-04-30 23:40:55
560
原创 Anaconda创建新环境一直加载中怎么办？
使用 管理员打开 Anaconda Prompt，依次输入以下几条命令，其中几条需要根据提示再次输入 yes。1、升级navigator，执行 conda update anaconda-navigator。4、升级安装依赖包，执行 conda update -f anaconda-client。2、重置navigator，执行 anaconda-navigator --reset。3、升级客户端，执行 conda update anaconda-client。
2023-04-30 19:20:07
3082
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人