- 博客(27)
- 收藏
- 关注
RSS订阅原创 调用feapder作为子程序时setting.py文件不起作用
问题： 在最近的开发中需要调用feapder作为主程序调用的子程序时发现自动入库时无法入库，通过查看日志信息发现连接数据库时被拒绝连接了，但是我的setting.py文件中已经配置好了数据库连接方式了，但是在日志信息中使用的连接信息不是配置好的，而是用默认的系统用户和空密码。查看官方文档后好像没有这方面的说明，在尝试将setting.py放到主程序的同等目录下后正确入库，问题解决了。
2025-03-21 23:28:30
320
1
原创 获取哔站评论
哔哩哔哩（B站）是当前年轻人十分喜爱的视频分享平台，以其丰富多样的内容、互动性强的社区氛围以及独特的弹幕文化深受用户喜爱。在该平台上，用户不仅可以观看各种类型的视频，如动画、游戏、科技、生活、影视、音乐等，还可以通过弹幕和评论表达自己的观点，与其他观众进行实时交流。这种互动机制极大地增强了用户的沉浸感和参与感，使得B站成为了一个兼具娱乐性和社交属性的内容生态平台。由于B站的弹幕与评论系统承载了大量用户的实时反馈和情感表达，对这些文本数据进行深入分析，可以挖掘出许多有价值的信息。
2025-03-04 21:27:52
524
原创 基于wifipumpkin3的AP伪造
利用wifipumpkin-3进行AP伪造需要kali系统，还需要一张支持在kali的环境下能够支持AP伪造的无线网卡，如果是针对特定的无线网的话，再来第二张网卡的话更好用来转发流量更好。对于wifipumpkin-3的安装使用可以分为两种方式，可以直接apt install 命令安装应用，也可以使用源码安装。直接安装的好处是简单方便，源代码安装好处是后端框架是一个python的flask框架，可以直接利用网络抓包后可以将前端界面进行替换，可以将钓鱼页面伪装的很好。
2024-12-13 23:46:53
448
原创 docker部署dvwa靶场
最近差不多又是网安专业的同学搭建靶场的时候了，（Damn Vulnerable Web Application）是安全入门者们最为熟知的练习靶场，它能够帮助小白对常见的安全问题进行理解，并且随着理解问题的深入自主调整靶场的安全级别。DVWA的搭建方式有很多种，对于我们这种技术小白来说，环境搭建是让人又爱又恨啊！在虚拟机里搭建能够保护我们的主机环境被隔离，在我们在进行一些危险操作的时候也能让我们的主机免于伤害。当然友情提醒，当你部署好一个新功能的时候，一定要拍摄快照，拍摄快照，拍摄快照，拍摄快照。
2024-10-14 20:52:30
1547
2
转载 初级js混淆代码处理
在软件开发和安全领域，代码混淆是一种常见的技术手段，旨在保护代码不被轻易理解和逆向分析。熟悉这些手段不仅能帮助我们在应对开发工作，在进行数据获取的时候也是十分有裨益的。
2024-09-21 13:31:44
1061
原创 scrapy之setting文件详解
1. 集中管理配置配置文件将各种设定集中管理，避免了在代码中散布配置参数。这使得开发人员能够方便地找到并修改全局参数，不必在代码的各个部分寻找。2. 提升代码可维护性配置文件将程序逻辑与具体的配置解耦，使代码更易于维护。开发人员可以专注于实现功能，而无需频繁修改代码中嵌入的硬编码参数。3. 便于环境切换不同的环境（如开发、测试、生产）往往需要不同的配置。通过配置文件，开发者可以轻松地为不同环境提供不同的设置，例如数据库连接信息、日志级别、调度策略等。
2024-09-21 11:24:40
1288
原创 Scrapy爬虫实战——某瓣250
按照我个人的习惯，在一些需要较多的包作为基础支撑的项目里，习惯使用虚拟环境，因为这样能极大程度的减少出现依赖冲突的问题。依赖冲突就比如A、B、C三个库，A和B同时依赖于C，但是A需要的C库版本大于N，而B库在C库版本大于N时会有依赖错误。如果是在同一个项目里三者都需要，那么我们必然要想办法解决，但是如果是在不同项目里，但是使用同一环境所引起的，那么只需要使用不同环境即可，能省去不少时间和精力。
2024-09-20 10:42:49
813
原创 爬虫框架之Scrapy介绍——高效方便
Scrapy 是一个用于数据爬取的 Python 框架，专门为网络抓取（Web Scraping）任务设计。它提供了高效的方式来提取网站上的数据，并且支持管理复杂的抓取规则和任务。Scrapy 的设计理念是快速、可扩展和强大，常用于爬虫项目和数据收集工作。
2024-09-19 21:10:27
1773
原创 自动化采集数据之解决滑动验证码
对于初级选手和数据需求不大的的数据采集，使用自动化库进行模拟，但是抵不住请求多了还是会蹦验证，所以具备处理验证的能力也是十分有必要的。
2024-09-07 22:01:33
718
原创 爬虫加前端就是王炸
很多小伙伴在学会爬虫之后可恨每次都只能是控制台打印输出，数据丝毫没有美感，看个链接还得手动打开一个浏览器，久而久之也就没什么兴趣了。但是如果加上一点前端技术，把数据换个方式呈现出来，那感觉是不是就不一样了呢？
2024-09-03 12:32:49
944
原创 网易音乐web端的请求参数params和encSecKey
网易云音乐作为一款功能强大的音乐流媒体平台，确实为用户提供了丰富的音乐享受和社区互动体验。然而，当涉及到批量下载音乐资源，特别是希望下载整个歌单或某位歌手的全部歌曲时，由于版权保护和平台策略的限制，通常无法通过官方渠道直接实现这一功能。这时，技术爱好者或开发者可能会考虑使用爬虫技术来尝试获取这些资源。针对网易云音乐这类使用密文请求参数（params和encSecKey）的平台，逆向工程成为了解析这些参数并编写有效爬虫的第一步。
2024-07-23 21:38:29
1309
1
原创 某大范围建筑市场监管平台返回密文解密逆向
这个平台对于新手朋友十分友好，简单但又能同时锻炼多种能力，简单的逆向以及全站分析爬取等，在此和各位交流，分享我的方法与心得。
2024-07-21 15:17:51
1044
4
原创 使用Python制作自己的翻译朗读插件
某度翻译更新了，但是原来的接口并没有停用，原理逆向过，感觉比较有意思，就做了一个借助这个API的简易翻译加朗读的小demo，今天分享给大家。
2024-07-17 16:56:44
497
原创 历史天气数据获取——请求参数与返回结果的模拟加密与解密
获取大量的历史天气数据，得到的数据可以做很多反面的研究（数据分析的期中、期末汇报等等，还可以做相关的web开发等，在本次的例子中也可以将重点放在逆向上，考虑安全问题），本次将以一个提供近10年主要城市的天气数据的网页为例，介绍逆向过程和数据处理与分析，提供一丢丢的思路与解法。目标网址PM2.5历史数据_空气质量指数历史数据_中国空气质量在线监测分析平台历史数据PM2.5历史数据查询,空气质量指数(AQI)历史数据查询,全国空气质量指数排名,中国空气质量在线监测分析平台历史数据查询。
2024-07-15 11:37:40
1127
原创 可听即可爬-喜马拉雅-小说mp3资源批量获取
在网页端明明是可以听的，但是当我们要下载时就会提示必须要下载客户端才能下载，但是我并不想被胁迫着安装，怎么呢？不惯着，直接薅了它！！！！
2024-07-14 21:26:14
1666
9
原创 小逆向玩转选课系统
作为一名大学生，每次最烦恼的就是选课的时候选课系统巨卡无比，而且有些选课轮次还是先到先得，这让抢课开放时还在认真学习导致网页打不开，登陆不上的我如何是好？但是作为一名爱好者，我们不谈外挂，只是尽量去模拟这个浏览器和人的行为，去尝试自动化的替我们选课。
2024-07-02 11:07:34
1525
原创 笔**阁小说采集
而我们需要的文本都是在 <div id="chaptercontent" class="Readarea ReadAjax_content">这个容器里的，拿到这个容器的text文本就结束了。章节是在<div class="listmain">容器下的一些dd里，拿到这个dd的href属性就可以了，将其存储在一个列表中返回，标题同理。
2024-04-09 16:58:19
582
1
原创 ddddocr库的使用与常见问题的解决
它是一个开源项目，提供了训练和预测的功能，可用于识别图片中的双位数字并输出其具体的数值。在日常使用中，比较常见的场景就是数字字母等验证码的识别以及部分的图片文字识别，ddddocr（四弟）呢就凭借着其使用的便捷性和结果的准确性深受人们青睐。因为classification接收的就是bytes格式的参数，所以如果是在网络上请求得到的图片，不用把图片先保存到本地再读取识别，直接把那个二进制流输入给classification就可以了。如果不想要这段信息，直接ctrl加左键进入源文件，搜索打印出的信息。
2024-04-08 17:03:57
1589
原创 某财联的sign逆向——保姆教程
接下来你高高兴兴的以为逆向成功并且结束了，但其实不然一比较就会发现，其实sign的值位数对了，但是值不对，为什么呢？在return的地方打上断点，并打印出p(t, e[t])的值，不难发现这一步就是在构建请求体中除去sign的其他参数。由于是三十二位加密结果，我们首秀考虑是不是标准加密算法，一看，就是标准的MD5算法。点击加载更多，如果断住了，则进行跟栈分析，如果没有断住，那就检查关键字断点，继续打。在控制台打印出S(m({}, r))的值，发现与请求参数的位数一致，成功了50%
2024-04-06 15:20:02
491
原创 网页版douyin.com评论获取三
首先我们把依次请求得到一级评论，在解析出数据后，根据评论ID去得到每一条评论下的回复（假如有，try一下就可以），然后把得到二级评论封装在列表中，返回所有的结果，加上第一级评论的信息在封装为一个列表，最后所有的评论信息再封装为一个列表。（一）对于返回数据的处理可以参照上一篇的方法，只是说二级评论和一级评论在数据的结构上可能存在一些差异，建议把数据处理的逻辑呢要分开。#看完前两篇可能不少小伙伴就有疑问了，为什么喔的循环都写冒烟了，三万的评论还是只能搞到三千条，其他的是被帖主吃掉了吗？至此，分享就结束了！
2024-04-06 13:40:19
2470
10
原创 网页版douyin.com评论获取二
可以看到其实就是一个comments列表，只需要对这个列表进行循环处理其中的每一个字字典，就可以得到想要的评论和其他数据内容了。返回的数据都是以字符串的格式，这对于我们对其进行分析和解析使用是非常不利的，毕竟没人想要用正则来匹配这么多字符。这样格式的数据内容，然后就是分析这些内容在浏览器的渲染出的结果是什么，并进行提取。得到的内容就是请求得到的评论内容以及一些其他属性，继续进行json格式化分析。然后我们将每一次得到的数据放到支持json格式化的网页上，进行解析分析。二、用json规则提取我们需要的信息。
2024-04-06 12:57:46
687
1
原创 网页版douyin.com评论获取一
经过研究发现，aweme_id在同一视频的请求下是不变的，而cursor和count是变化的（其实就是cursor就是从第几条评论开始，count就是每次请求的评论数），至于webid就是你自己的账号，msToken和a_bogus的话有兴趣有能力的小伙伴可以去逆向一下，这个参数不变也是可以的。夏天到来，当哥们儿想打开抖音刷到一些比较凉快的视频，动不动就上万的评论，手痒就想看看众位爱卿的虎狼之词，但是一条条翻可不是我们的风格，所以直接F12。的接口，接下来就是分析这个接口的请求体和返回数据的格式与解析了！
2024-04-06 10:59:09
2987
5
原创 yolov5使用labelimg数据标注——classes.txt的覆盖问题
如果需要标注的图片比较多，单次无法完成工作，单次结束工作后确认保存没问题，保存结果也正确，但是下次打开相同文件时标注再保存就会发现最新一次的标注的classes.txt 覆盖了原来的txt文件，而不是追加。（2）后续打开时，在labelimg命令后追加图片路径和已经保存的classes.txt，例如 ：labelimg data\images data\classes.txt。（1）第一次标注时直接打开命令行，输入labelimg,指定好图片和标注结果目录就行。打开labelimg的命令。
2024-04-02 09:10:58
2625
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人