- 博客(106)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 httprunner4问题panic: runtime error: invalid memory address or nil pointer dereference [recovered]
panic: runtime error: invalid memory address or nil pointer dereference [recovered] panic: runtime error: invalid memory address or nil pointer dereferencej解决方法
2023-12-28 18:24:06
614
原创 airflow报ModuleNotFoundError: No module named ‘dags‘原因和解决方法
*注意：**正常情况下，我们导入的时候，会因为编译器报红，而多加了个dags前缀，这样会导致，导入失败。原因：airflow是自动搜dags目录下的所有模块。
2023-10-19 14:25:41
666
原创 Celery连接rabbitmq出现billiard.exceptions.RestartFreqExceeded: 5 in 1s，解决方案
Celery连接rabbitmq问题ConnectionResetError: [Errno 104] Connection reset by peer解决方法
2023-08-04 11:24:20
2125
1
原创 Hadoop笔记
HDFS的全称：Hadoop分布式文件系统HDFS合适存储大容量数据，合适存储大文件HDFS可以将一些廉价的计算机进行整合，形成一个完整的存储系统，并且对外提供统一的访问路径安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。在安全模式下，HDFS主要做两件事情DataNode会将自己的Block信息汇报给NameNode。
2023-07-21 13:51:09
809
原创 gitlab_runner报Reinitialized existing Git repository in /home/gitlab-runner/builds/x0/4/xx/.git解决方法
原因：是yum安装的git版本太低，默认是1.8.3.1。安装后，再次构建，就不会报错了。
2023-06-19 15:55:48
897
原创 Linux服务器Docker安装pip install mysqlclient失败解决方法
【代码】Linux服务器Docker安装pip install mysqlclient失败解决方法。
2023-06-13 18:05:03
789
原创 解决post请求form-data格式后端拿不到数据问题
在调用第三方后端接口的时候，有个接口，它要求post请求头中，content-type必须为multipart/form-data的时候，一开始就是显示指定content-type格式，也就是在请求头headers={‘Content-Type’: multipart/form-data}，导致form-data数据丢失，导致后端拿不到数据，一直报错。2、显示设置请求头，也就是上面出现bug的做法，但是需要做个格式。
2023-05-06 09:52:18
5258
原创 flask 出现jinja2.exceptions.TemplateNotFound xxx.html报错解决办法
jinja2.exceptions.TemplateNotFound: templates/login.html
2023-02-12 21:18:40
2058
1
原创 文件死锁导致 ImportError ：cannot import name xxx解决方法
复现文件死锁导致 导入类报错的场景:这里以工厂设计模式为例子：# 例子目录--pakege -- __init__.py -- factory.py -- facotry1.py -- factory2.pyfactory 文件内容如下：from abc import ABC,abstractmenthodfrom .factory1 import CarFactoryfrom .factory2 import PlainFactoryclass Factory(ABC): @
2021-10-25 17:00:04
1179
原创 ASP页面隐藏参数__EVENTVALIDATION获取
1、__doPostBack(eventTarget, eventArgument)方法： # 参数 evenntTarget # 要调用服务器控件生成的name熟悉 ''' 参数：ctl00$ContentPlaceHolder1$AspNetPager1，可以拆分如下， id为 ctl00的父控件 id为 ContentPlaceHolder1的子控件 id为 AspNetPager1 的子控件 即：父控件$子控件 或者 父控件:子控件 .
2021-07-15 16:23:22
970
原创 Pyspider框架工作流程及常见问题
1、解决 web界面太小问题直接修改pyspider中的css源码2、559证书问题validate_cert=False3、爬取速度rate是每秒爬取的数量 burst是并发数量4、参数传递，pyspider是用save传递参数5、获取列表类型参数，可以通过.eq(序号)来获取相应的元素# 问题1证书559问题，寻找一次性配置# 问题2run一次后，后面就爬不到内容了，原因未知？？'''原因：on_start上的装饰器限制了，装饰器规定多久爬一次，另外，pyspi
2021-07-02 08:50:33
736
1
原创 Scrapy使用selenium模拟登录的cookie值
1、先按f12打开浏览器开发工具，可以看到cookie值2、把cookie值复制出来，跟selenium模拟登陆获取的cookies值进行比较# 浏览器的cookie值形式PHPSESSID=usgs25lvqsfmkb55kf4j0p8m26; think_template=default; UM_distinctid=17a31506fb0679-06e4d625678ecb-4373266-240000-17a31506fb1ce6; callback_type=login; think_la
2021-06-22 17:12:25
771
1
原创 记录面试---爬虫工程师面试（1）
1、你遇到过的反扒措施有哪些，你是怎么解决的？这道题我主要就是说一下平时遇到的反爬，至于js逆向只提到一个例子。2、如果请求中返回的数据有两种类型，一种是xml，另一种是json数据，你要怎么构造请求头让它返回json类型数据？个人理解应该是请求头中 accept属性设为application/json3、现在给你一批账号，让你做一个”测试指定网站的反爬”方案？这个问题，请教了面试官思路：考虑不同情况，根据不同情况，决定测试方向。例子：如果时间比较紧的话，就多用一些账号，对网站的ip封禁频率、
2021-06-15 22:07:06
414
原创 M3U8视频解密下载
一、按F12，先找出m3u8的url，预览内容是如以下这种类型，然后复制出请求URL#EXTM3U#EXT-X-VERSION:3#EXT-X-TARGETDURATION:16#EXT-X-MEDIA-SEQUENCE:0#EXT-X-KEY:METHOD=AES-128,URI="https://ke.qq.com/cgi-bin/qcloud/get_dk?edk=CiBENw8S52C77Pg9t2ak1u%2FD9NfhZ3F7%2BoiW%2BM5iBKyMbBCO08TAChiaoO
2021-06-11 18:15:41
13975
9
原创 爬虫数据清洗之html标签删除
删除指定的元素标签from lxml import etreeimport htmldef delete_e(d,old_xpath,xpath_list): ''' :param d: 要删除html标签 :param old_xpath: 最后一级定位标签 :param xpath_list: 要删除的标签元素集合 :return: 返回删除后的标签元素 ''' content= etree.HTML(d) for a in xpa
2021-05-26 17:12:58
1204
原创 Django全文检索Haystack模块
一、先下载依懒的库# 1、下载django-haystack#注意：django2.0版本以上的，尽量安装django-haystack 3.0版本及以上，以防出现错误pip install django-haystack# 2、 下载搜索引擎库whoosh # 注意：whoosh只支持英文分词（也就是英文关键字）,如果使用该引擎搜索中文关键字可以不会有结果，我就出现中文搜索关键词结果为空情况。pip install whoosh# 3、下载搜索引擎jieba# jieba是为了弥补wh
2021-04-30 16:00:29
686
4
原创 Docker容器操作
一、简介容器：容器是一种轻量级、可移植、并将应用程序进行打包的技术，使应用程序可以在不同的地方以相同的方式运行。本质就是镜像文件运行后的实例，具有一定的生命周期。容器的生命周期如下：二、容器与虚拟机的比较1、相似或相同点：都是对物理硬件资源进行共享使用生命周期也比较相似可以安装各种应用，如redis、python、mysql等创建后会存储在宿主机上，linux上是...
2021-02-16 12:12:00
182
原创 Docker简介及安装
一、Docker简介1、虚拟化介绍虚拟化( Virtualization)：是一种资源管理技术，是将计算机的各种实体资源，用抽象，转换后呈现处理，打破实体结构建的障碍，使得资源可以得到充分的利用，这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态所限制，一般虚拟化资源包括计算能力和资料，它的用途主要是用来解决高性能的物理硬件产能过剩和旧硬件2、Docker介绍Dock...
2021-02-15 15:47:00
126
原创 Docker镜像操作
一、简介Docker镜像是指一个Docker的可执行文件，包括运行程序所需的所有代码内容、依赖库、环境变量和配置文件等。它可以创建一个或者多个容器二、镜像操作1、镜像查看命令格式：docker images [options] [repository[:tag]]'''options是参数 -a，--all 显示所有镜像 -q, --quiet 只...
2021-02-15 15:42:00
204
原创 flask第三方扩展使用
一、flask-session1、简介flask-session是重写flask框架的session组件，支持redis,mongodb，sqlalchmey，filesystem，memcached多种存储方式。需要安装(pip install flask-session)2、flask-session的使用2.1、存储在redis# -*-coding:utf-8 -*-...
2021-02-04 22:33:00
385
原创 flask 之数据库及ORM模型
一、数据库连接池python用于实现数据库连接池的模块是DBUntilsDBUntils有两种模式，一种是PersistentDB，一种是PooledDB1、PersistentDB该模式，会为每一个线程创建一个连接，创建的连接只可以给该线程使用，不能给其他线程使用，线程调用close方法后，连接会放到连接池，等待该线程的再次使用，直到线程终止时，连接才会关闭。这个模式，需要自己...
2021-02-04 22:29:00
456
原创 Flask之基础、g对象和信号
一、简介1、flask简介Flask是python一款小二精的轻量级Web框架，默认依赖于jinja2模版引擎和WSGI工具集--Werkzeug。虽然flask只保留了WEB开发的核心功能，没有Django的功能全，但是，它可以用第三方插件进行功能扩展，比如数据库可以使用Flask-SQLAlchemy，缓存可以使用Flask-Cache等特点：灵活性可拓展性强，对各种数据库的契...
2021-01-30 20:54:00
314
原创 flask关于请求知识点
一、Request对象1、概述flask的request对象主要是封装了解析出来的报文中的数据，其大部分功能是依赖werkzeug完成，每个request对象之间都是线程隔离，保证了数据的安全性2、request对象常用的方法/属性2.1常用方法请求例子的url : http:127.0.0.1:5000/index/?age=18属性作用例子path获取不...
2021-01-30 20:51:00
462
原创 flask 请求扩展(钩子函数）和中间件
一、钩子函数定义钩子函数：是在一个事件触发的时候，捕获到它的数据，对他进行处理，再将处理后的数据返回二、Flask常用的请求扩展1、before_first_request项目启动后第一次请求的时候执行# 项目启动后，发起的第一次请求会走它@app.before_first_requestdef first(): print('第一次发起请求') ret...
2021-01-30 11:17:00
592
原创 flask源码解析
flask源码解析1、大致流程当执行app.run()方法时，会调用werkzeug.serving 的 run_simple()方法，接着WSGI服务会调用app实例，app实例会执行“app.__ call _ _ 方法，__ __ call __方法调用app的wsgi_app方法，在wsgi_app中，会生成一个RequestContext类对象ctx，然后调用RequestContext类的push方法，（具体执行流程看：2、ctx.push方法执行流程），将ctx对象放到local对象中
2021-01-29 22:21:32
1518
原创 Flask 之一蓝图Blueprint详解
一、蓝图概述蓝图：是flask提供的一种应用程序组织化的方法，类似的django的app，把不同功能分到不同文件，最后将这些文件汇总起来。本质：将不同处理功能的代码分开放，再将这些代码注册到蓝图上，最后将蓝图注册到应用程序。二、蓝图的理解和应用案例项目结构目录如下："""├── flask_blue ├── templates/ # 模版文件夹 ├── static/ # 静态文件夹 ├── apps/
2021-01-25 22:09:50
1573
1
原创 Flask 路由、视图、模版、闪现详解
一、注册路由1、定义路由：指根据url定位到具体的类或者函数的程序，本质就是建立url跟程序之间的映射。flask中使用的路由被称之为注册路由2、路由传参2.1 动态传参# 动态传参语法@app.route(路径+/<参数名>/')#例子@app.route('/index/<id>/')def index(id) print(id)...
2021-01-25 15:46:00
332
原创 Linux之系统服务
一、Linux启动流程1、Centos 6.x启动流程图解2、Centos 6.x和CentOS 7.x启动流程对比图解3、运行级别linux系统下有七个运行级别运行级别systemd目标名称作用0runlevel0.target，poweroff.target关机1runlevel1.target，rescue.target单用户模式...
2021-01-19 21:31:00
206
原创 什么是WSGI
一、概述WSGI全称Web服务器网关接口(python web server Gateway Interface)，是为python语言定义的web服务器和Web应用程序或框架之间一种简单而通用的接口WSGI本质像是一个接口的标准协议或规范，只要遵循这个协议，WSGI应用就可以在任何服务器上运行二、工作过程当客户端向服务器发起请求的后，服务器准备好environ(WSGI环境信息)参数和定义好start_response(开始响应请求的函数)函数，然后调用Application对象(实现__call
2021-01-19 10:55:33
368
2
原创 Linux之进程管理
一、进程管理1、ps查看进程[root@VM-4-16-centos ~]#ps -auxUSER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDroot 1 0.0 0.3 43596 3440 ? Ss Jan08 0:16 /usr/lib...
2021-01-15 21:34:00
133
1
原创 Linux之软件管理(rpm)
一、RPM介绍rpm全称RedHat Package Manager 缩写，由红帽开发用于软件包的安装升级卸载与查询rpm包名组成如下：版本号中(4.2.46)4是大版本，2是小版本，46是修订次数注意：linux除了rpm安装软件，还有其他安装软件方式二、rpm使用1、rpm包安装'''命令：rmp options rpm包-----------options参...
2021-01-12 16:08:00
286
原创 Linux之解压与压缩
一、介绍linux下一般使用的压缩类型有以下几种：注意：widows和linux互通的压缩包只有zip类型，linux不支持rar类型的，widows支持linux所有压缩类型二、基本命令1、gzip(gz类型)注意：gzip只能压缩文件，不能压缩文件夹，压缩文件夹，只会把文件夹下的文件进行压缩，压缩好后会把原来的文件删除'''------命令格式-------gz...
2021-01-11 21:02:00
120
原创 Linux之权限
一、权限基础1、定义权限：指定某个特定的用户具有特定的系统资源使用权力，还有操作、内容访问范围。2、权限和身份之间的关系在linux系统中，每个文件都有三种身份，分别是文件拥有者u(owner)、文件所属群组g(group)、其他o(other)，每一个身份都有三种权限：可读(r)、可写(w)、可执行(x)，还有一个特殊权限(s)二、权限使用1、chmod设定权限'...
2021-01-10 21:32:00
268
原创 Linux基础和文件操作
一、基础知识点1、安装centos 7虚拟机扩充知识点：DHCP :DHCP(动态主机配置协议)是一个局域网的网络协议。指的是由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。默认情况下，DHCP作为Windows Server的一个服务组件不会被系统自动安装，还需要管理员手动安装并进行必要的配置DNS: 可以把域名地址转换成ip地址主...
2021-01-10 20:11:00
196
1
原创 linux之用户、用户组、权限
一、用户管理1、介绍1、Linux下系统允许同一个时刻多个用户同时登陆，创建用户，对用户进行管理，可以避免因root权限过大，造成故障。2、用户密码存放的位置用户信息都是存在/etc/passwd，但是没有存密码，密码是存在/etc/shadow中密码存放文件/etc/shadow3、用户UID一般约定用户uid约定含义0超级管理员，最高权限1~...
2021-01-09 17:22:00
570
原创 linux之用户、用户组、用户提权
一、用户管理1、介绍1、Linux下系统允许同一个时刻多个用户同时登陆，创建用户，对用户进行管理，可以避免因root权限过大，造成故障。2、用户密码存放的位置用户信息都是存在/etc/passwd，但是没有存密码，密码是存在/etc/shadow中密码存放文件/etc/shadow3、用户UID一般约定用户uid约定含义0超级管理员，最高权限1~...
2021-01-09 17:22:00
437
m3u8视频下载脚本以及转MP4
2021-07-23
具体源代码myshell.c
2019-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人