- 博客(106)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 httprunner4问题panic: runtime error: invalid memory address or nil pointer dereference [recovered]
panic: runtime error: invalid memory address or nil pointer dereference [recovered] panic: runtime error: invalid memory address or nil pointer dereferencej解决方法
2023-12-28 18:24:06
778
原创 airflow报ModuleNotFoundError: No module named ‘dags‘原因和解决方法
*注意：**正常情况下，我们导入的时候，会因为编译器报红，而多加了个dags前缀，这样会导致，导入失败。原因：airflow是自动搜dags目录下的所有模块。
2023-10-19 14:25:41
1045
原创 Celery连接rabbitmq出现billiard.exceptions.RestartFreqExceeded: 5 in 1s，解决方案
Celery连接rabbitmq问题ConnectionResetError: [Errno 104] Connection reset by peer解决方法
2023-08-04 11:24:20
2301
1
原创 Hadoop笔记
HDFS的全称：Hadoop分布式文件系统HDFS合适存储大容量数据，合适存储大文件HDFS可以将一些廉价的计算机进行整合，形成一个完整的存储系统，并且对外提供统一的访问路径安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。在安全模式下，HDFS主要做两件事情DataNode会将自己的Block信息汇报给NameNode。
2023-07-21 13:51:09
879
原创 gitlab_runner报Reinitialized existing Git repository in /home/gitlab-runner/builds/x0/4/xx/.git解决方法
原因：是yum安装的git版本太低，默认是1.8.3.1。安装后，再次构建，就不会报错了。
2023-06-19 15:55:48
1155
原创 Linux服务器Docker安装pip install mysqlclient失败解决方法
【代码】Linux服务器Docker安装pip install mysqlclient失败解决方法。
2023-06-13 18:05:03
1033
原创 解决post请求form-data格式后端拿不到数据问题
在调用第三方后端接口的时候，有个接口，它要求post请求头中，content-type必须为multipart/form-data的时候，一开始就是显示指定content-type格式，也就是在请求头headers={‘Content-Type’: multipart/form-data}，导致form-data数据丢失，导致后端拿不到数据，一直报错。2、显示设置请求头，也就是上面出现bug的做法，但是需要做个格式。
2023-05-06 09:52:18
5760
原创 flask 出现jinja2.exceptions.TemplateNotFound xxx.html报错解决办法
jinja2.exceptions.TemplateNotFound: templates/login.html
2023-02-12 21:18:40
2393
1
原创 文件死锁导致 ImportError ：cannot import name xxx解决方法
复现文件死锁导致 导入类报错的场景: 这里以工厂设计模式为例子： # 例子目录 --pakege -- __init__.py -- factory.py -- facotry1.py -- factory2.py factory 文件内容如下： from abc import ABC,abstractmenthod from .factory1 import CarFactory from .factory2 import PlainFactory class Factory(ABC): @
2021-10-25 17:00:04
1277
原创 ASP页面隐藏参数__EVENTVALIDATION获取
1、__doPostBack(eventTarget, eventArgument)方法： # 参数 evenntTarget # 要调用服务器控件生成的name熟悉 ''' 参数：ctl00$ContentPlaceHolder1$AspNetPager1，可以拆分如下， id为 ctl00的父控件 id为 ContentPlaceHolder1的子控件 id为 AspNetPager1 的子控件 即：父控件$子控件 或者 父控件:子控件 .
2021-07-15 16:23:22
1107
原创 Pyspider框架工作流程及常见问题
1、解决 web界面太小问题 直接修改pyspider中的css源码 2、559证书问题 validate_cert=False 3、爬取速度 rate是每秒爬取的数量 burst是并发数量 4、参数传递，pyspider是用save传递参数 5、获取列表类型参数，可以通过.eq(序号)来获取相应的元素 # 问题1 证书559问题，寻找一次性配置 # 问题2 run一次后，后面就爬不到内容了，原因未知？？ ''' 原因：on_start上的装饰器限制了，装饰器规定多久爬一次，另外，pyspi
2021-07-02 08:50:33
835
1
原创 Scrapy使用selenium模拟登录的cookie值
1、先按f12打开浏览器开发工具，可以看到cookie值 2、把cookie值复制出来，跟selenium模拟登陆获取的cookies值进行比较 # 浏览器的cookie值形式 PHPSESSID=usgs25lvqsfmkb55kf4j0p8m26; think_template=default; UM_distinctid=17a31506fb0679-06e4d625678ecb-4373266-240000-17a31506fb1ce6; callback_type=login; think_la
2021-06-22 17:12:25
876
1
原创 记录面试---爬虫工程师面试（1）
1、你遇到过的反扒措施有哪些，你是怎么解决的？ 这道题我主要就是说一下平时遇到的反爬，至于js逆向只提到一个例子。 2、如果请求中返回的数据有两种类型，一种是xml，另一种是json数据，你要怎么构造请求头让它返回json类型数据？ 个人理解应该是请求头中 accept属性设为application/json 3、现在给你一批账号，让你做一个”测试指定网站的反爬”方案？ 这个问题，请教了面试官 思路：考虑不同情况，根据不同情况，决定测试方向。 例子：如果时间比较紧的话，就多用一些账号，对网站的ip封禁频率、
2021-06-15 22:07:06
588
原创 M3U8视频解密下载
一、按F12，先找出m3u8的url，预览内容是如以下这种类型，然后复制出请求URL #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:16 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-KEY:METHOD=AES-128,URI="https://ke.qq.com/cgi-bin/qcloud/get_dk?edk=CiBENw8S52C77Pg9t2ak1u%2FD9NfhZ3F7%2BoiW%2BM5iBKyMbBCO08TAChiaoO
2021-06-11 18:15:41
14956
9
原创 爬虫数据清洗之html标签删除
删除指定的元素标签 from lxml import etree import html def delete_e(d,old_xpath,xpath_list): ''' :param d: 要删除html标签 :param old_xpath: 最后一级定位标签 :param xpath_list: 要删除的标签元素集合 :return: 返回删除后的标签元素 ''' content= etree.HTML(d) for a in xpa
2021-05-26 17:12:58
1348
原创 Django全文检索Haystack模块
一、先下载依懒的库 # 1、下载django-haystack #注意：django2.0版本以上的，尽量安装django-haystack 3.0版本及以上，以防出现错误 pip install django-haystack # 2、 下载搜索引擎库whoosh # 注意：whoosh只支持英文分词（也就是英文关键字）,如果使用该引擎搜索中文关键字可以不会有结果，我就出现中文搜索关键词结果为空情况。 pip install whoosh # 3、下载搜索引擎jieba # jieba是为了弥补wh
2021-04-30 16:00:29
804
4
原创 Docker容器操作
一、简介 容器：容器是一种轻量级、可移植、并将应用程序进行打包的技术，使应用程序可以在不同的地方以相同的方式运行。本质就是镜像文件运行后的实例，具有一定的生命周期。 容器的生命周期如下： 二、容器与虚拟机的比较 1、相似或相同点： 都是对物理硬件资源进行共享使用 生命周期也比较相似 可以安装各种应用，如redis、python、mysql等 创建后会存储在宿主机上，linux上是...
2021-02-16 12:12:00
222
原创 Docker简介及安装
一、Docker简介 1、虚拟化介绍 虚拟化( Virtualization)：是一种资源管理技术，是将计算机的各种实体资源，用抽象，转换后呈现处理，打破实体结构建的障碍，使得资源可以得到充分的利用，这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态所限制，一般虚拟化资源包括计算能力和资料，它的用途主要是用来解决高性能的物理硬件产能过剩和旧硬件 2、Docker介绍 Dock...
2021-02-15 15:47:00
159
原创 Docker镜像操作
一、简介 Docker镜像是指一个Docker的可执行文件，包括运行程序所需的所有代码内容、依赖库、环境变量和配置文件等。它可以创建一个或者多个容器 二、镜像操作 1、镜像查看 命令格式：docker images [options] [repository[:tag]] ''' options是参数 -a，--all 显示所有镜像 -q, --quiet 只...
2021-02-15 15:42:00
239
原创 flask第三方扩展使用
一、flask-session 1、简介 flask-session是重写flask框架的session组件，支持redis,mongodb，sqlalchmey，filesystem，memcached多种存储方式。需要安装(pip install flask-session) 2、flask-session的使用 2.1、存储在redis # -*-coding:utf-8 -*-...
2021-02-04 22:33:00
472
原创 flask 之数据库及ORM模型
一、数据库连接池 python用于实现数据库连接池的模块是DBUntils DBUntils有两种模式，一种是PersistentDB，一种是PooledDB 1、PersistentDB 该模式，会为每一个线程创建一个连接，创建的连接只可以给该线程使用，不能给其他线程使用，线程调用close方法后，连接会放到连接池，等待该线程的再次使用，直到线程终止时，连接才会关闭。这个模式，需要自己...
2021-02-04 22:29:00
539
原创 Flask之基础、g对象和信号
一、简介 1、flask简介 Flask是python一款小二精的轻量级Web框架，默认依赖于jinja2模版引擎和WSGI工具集--Werkzeug。虽然flask只保留了WEB开发的核心功能，没有Django的功能全，但是，它可以用第三方插件进行功能扩展，比如数据库可以使用Flask-SQLAlchemy，缓存可以使用Flask-Cache等 特点：灵活性可拓展性强，对各种数据库的契...
2021-01-30 20:54:00
365
原创 flask关于请求知识点
一、Request对象 1、概述 flask的request对象主要是封装了解析出来的报文中的数据，其大部分功能是依赖werkzeug完成，每个request对象之间都是线程隔离，保证了数据的安全性 2、request对象常用的方法/属性 2.1常用方法 请求例子的url : http:127.0.0.1:5000/index/?age=18 属性 作用 例子 path 获取不...
2021-01-30 20:51:00
591
原创 flask 请求扩展(钩子函数）和中间件
一、钩子函数定义 钩子函数：是在一个事件触发的时候，捕获到它的数据，对他进行处理，再将处理后的数据返回 二、Flask常用的请求扩展 1、before_first_request 项目启动后第一次请求的时候执行 # 项目启动后，发起的第一次请求会走它 @app.before_first_request def first(): print('第一次发起请求') ret...
2021-01-30 11:17:00
678
原创 flask源码解析
flask源码解析 1、大致流程 当执行app.run()方法时，会调用werkzeug.serving 的 run_simple()方法，接着WSGI服务会调用app实例，app实例会执行“app.__ call _ _ 方法，__ __ call __方法调用app的wsgi_app方法，在wsgi_app中，会生成一个RequestContext类对象ctx，然后调用RequestContext类的push方法，（具体执行流程看：2、ctx.push方法执行流程），将ctx对象放到local对象中
2021-01-29 22:21:32
1614
原创 Flask 之一蓝图Blueprint详解
一、蓝图概述 蓝图：是flask提供的一种应用程序组织化的方法，类似的django的app，把不同功能分到不同文件，最后将这些文件汇总起来。 本质：将不同处理功能的代码分开放，再将这些代码注册到蓝图上，最后将蓝图注册到应用程序。 二、蓝图的理解和应用 案例项目结构目录如下： """ ├── flask_blue ├── templates/ # 模版文件夹 ├── static/ # 静态文件夹 ├── apps/
2021-01-25 22:09:50
1798
1
原创 Flask 路由、视图、模版、闪现详解
一、注册路由 1、定义 路由：指根据url定位到具体的类或者函数的程序，本质就是建立url跟程序之间的映射。flask中使用的路由被称之为注册路由 2、路由传参 2.1 动态传参 # 动态传参语法 @app.route(路径+/<参数名>/') #例子 @app.route('/index/<id>/') def index(id) print(id) ...
2021-01-25 15:46:00
428
原创 Linux之系统服务
一、Linux启动流程 1、Centos 6.x启动流程图解 2、Centos 6.x和CentOS 7.x启动流程对比图解 3、运行级别 linux系统下有七个运行级别 运行级别 systemd目标名称 作用 0 runlevel0.target，poweroff.target 关机 1 runlevel1.target，rescue.target 单用户模式 ...
2021-01-19 21:31:00
257
原创 什么是WSGI
一、概述 WSGI全称Web服务器网关接口(python web server Gateway Interface)，是为python语言定义的web服务器和Web应用程序或框架之间一种简单而通用的接口 WSGI本质像是一个接口的标准协议或规范，只要遵循这个协议，WSGI应用就可以在任何服务器上运行 二、工作过程 当客户端向服务器发起请求的后，服务器准备好environ(WSGI环境信息)参数和定义好start_response(开始响应请求的函数)函数，然后调用Application对象(实现__call
2021-01-19 10:55:33
446
2
原创 Linux之进程管理
一、进程管理 1、ps查看进程 [root@VM-4-16-centos ~]#ps -aux USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.3 43596 3440 ? Ss Jan08 0:16 /usr/lib...
2021-01-15 21:34:00
186
1
原创 Linux之软件管理(rpm)
一、RPM介绍 rpm全称RedHat Package Manager 缩写，由红帽开发用于软件包的安装升级卸载与查询 rpm包名组成如下：版本号中(4.2.46)4是大版本，2是小版本，46是修订次数 注意：linux除了rpm安装软件，还有其他安装软件方式 二、rpm使用 1、rpm包安装 ''' 命令：rmp options rpm包 -----------options参...
2021-01-12 16:08:00
369
原创 Linux之解压与压缩
一、介绍 linux下一般使用的压缩类型有以下几种： 注意：widows和linux互通的压缩包只有zip类型，linux不支持rar类型的，widows支持linux所有压缩类型 二、基本命令 1、gzip(gz类型) 注意：gzip只能压缩文件，不能压缩文件夹，压缩文件夹，只会把文件夹下的文件进行压缩，压缩好后会把原来的文件删除 ''' ------命令格式------- gz...
2021-01-11 21:02:00
185
原创 Linux之权限
一、权限基础 1、定义 权限：指定某个特定的用户具有特定的系统资源使用权力，还有操作、内容访问范围。 2、权限和身份之间的关系 在linux系统中，每个文件都有三种身份，分别是文件拥有者u(owner)、文件所属群组g(group)、其他o(other)，每一个身份都有三种权限：可读(r)、可写(w)、可执行(x)，还有一个特殊权限(s) 二、权限使用 1、chmod设定权限 '...
2021-01-10 21:32:00
392
原创 Linux基础和文件操作
一、基础知识点 1、安装centos 7虚拟机扩充知识点： DHCP :DHCP(动态主机配置协议)是一个局域网的网络协议。指的是由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。默认情况下，DHCP作为Windows Server的一个服务组件不会被系统自动安装，还需要管理员手动安装并进行必要的配置 DNS: 可以把域名地址转换成ip地址主...
2021-01-10 20:11:00
233
1
原创 linux之用户、用户组、权限
一、用户管理 1、介绍 1、Linux下系统允许同一个时刻多个用户同时登陆，创建用户，对用户进行管理，可以避免因root权限过大，造成故障。 2、用户密码存放的位置 用户信息都是存在/etc/passwd，但是没有存密码，密码是存在/etc/shadow中 密码存放文件/etc/shadow 3、用户UID一般约定 用户uid 约定含义 0 超级管理员，最高权限 1~...
2021-01-09 17:22:00
643
原创 linux之用户、用户组、用户提权
一、用户管理 1、介绍 1、Linux下系统允许同一个时刻多个用户同时登陆，创建用户，对用户进行管理，可以避免因root权限过大，造成故障。 2、用户密码存放的位置 用户信息都是存在/etc/passwd，但是没有存密码，密码是存在/etc/shadow中 密码存放文件/etc/shadow 3、用户UID一般约定 用户uid 约定含义 0 超级管理员，最高权限 1~...
2021-01-09 17:22:00
515
具体源代码myshell.c
2019-11-25
m3u8视频下载脚本以及转MP4
2021-07-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人