- 博客(43)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python连接服务器执行命令进行部署
说明部署时需要执行linux命令，可以使用shell脚本。但我更希望全程部署使用python实现，因此有了此文，作为记录。参考文章：python3模拟实现xshell远程执行linux命令的方法代码# -*- coding: UTF-8 -*-import osimport timeimport paramikoclass MyLinux(object): # 通过IP, 用户名，密码，超时时间初始化一个远程Linux主机 def __init__(self, ip,
2022-03-09 09:35:27
2450
原创 python3使用gitlab拉取项目用于部署
python3使用gitlab拉取项目说明公司项目管理会自己搭建gitLab管理代码，一般我们拉取项目，通过git工具。由于有完善整个部署流程的想法，所以有直接用gitlab拉取代码的想法。参考别的文章，完善该代码，作为记录，希望可以帮到需要的人。参考文章：如何进入python3.7的git(master)_python-gitlab拉取git项目（python3）安装gitlabpip install python-gitlab拉取项目代码如下# -*- coding: UTF-8 -*
2022-03-07 18:42:01
2024
3
原创 python 对接萤石云,录制可播放的MP4视频
说明后端开发的时候，有时候会对接摄像头资源。有实时播放以及录制视频的功能需求。此段代码就是对接萤石云视频，并录制视频，返给小程序前端可展示的MP4视频。作为记录。准备需要注册萤石云账户，配置好摄像头协议，我们使用的264编码格式安装ffmpeg 工具安装依赖包cv2代码如下# -*- coding: UTF-8 -*-# Desc :萤石云视频流对接，并录制视频import subprocessimport osimport timeimport cv2import re
2022-03-04 17:22:47
3927
2
原创 自定义python django编译器
此文件是根据python编译器修改而来，作为记录。可用于后续的自动化操作。# -*- coding: UTF-8 -*-# Desc : python项目编译文件，该文件放在编译项目的根目录下,也可配置编译项目路径，需要配置见TODO# TODO# 1. 设置python版本# 2. 需要跳过的文件夹# 3. 不需要编译的py文件列表# 4. 项目路径(默认该文件的目录)import osimport sysimport importlib.utilimport py_compi
2022-03-04 16:31:53
271
原创 python doctemplate多维表格处理
在处理报表格式的过程中，我们会碰到多维表的处理，比较麻烦，因此记录下来，作为参考。首先展示一下多维表：表1：二维表表2：三维表对于第一种，处理较为简单doc模板语法如下：其中 {% vm %} 是列合并填充语法第二种填充语法如下：但是区域列和区县列都将会按照item数量来进行合并，因此需要使用代码对table表进行操作。# self.doc是template对象for table in self.doc.docx.tables:# 判断表是否为我们需要的表 if t
2021-09-03 14:46:59
1129
1
原创 docker neuxs搭建
yum -y install dockersystemctl start dockerdocker pull sonatype/nexus3mkdir -p /usr/local/docker/nexus/nexus-datachmod 777 /usr/local/docker/nexus/nexus-data密码在/nexus-data/admin.password文档中使用docker 安装maven私服 nexus宿主机目录挂载到docker容器后的访问权限问题Vu
2021-08-10 11:16:21
440
原创 92+版本chorme浏览器cookie获取
参考的文章后面没有找到，整合了解密部分，只能读取数据。因此，直接上代码测试最新的chorme浏览器版本：92.0.4515.131相关文章如何使用Python获取Chrome cookieimport sqlite3import os, sysimport json, base64from cryptography.hazmat.backends import default_backendfrom cryptography.hazmat.primitives.ciphers import
2021-08-10 11:13:46
564
1
原创 基于drf_yasg插件 生成开发文档(概要设计和详细设计)
问题对于开发者，编写文档是非常头疼的问题。说明此文是基于drf_yasg插件生成详细设计和概要设计文档，但只是框架性的，以及接口部分可以自动生成，个性化内容还需要自己去填充。输出格式为markdown格式，还需要编辑后，转换为pdf格式，形成文档。代码部分# -*- coding: UTF-8 -*-# Desc : 项目输出api文档(详细设计文档和概要设计)import timeimport requestsdef magic_api(markdown_path:
2021-01-27 23:05:27
887
原创 django 模型 markdown快速输出
django 模型 markdown快速输出直接上代码import osimport sysimport djangosys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))os.environ.setdefault("DJANGO_SETTINGS_MODULE", "forest_monitor.settings")django.setup()#引入各个模型from user_profi
2021-01-01 20:46:32
306
原创 samba共享服务器搭建
Linux samba的配置和使用Ubuntu下samba配置和使用Samba 服务使用的端口和协议samba对外开放的端口samba共享文件时端口问题
2020-12-18 11:32:05
206
原创 Django 关于drf_yasg Api文档使用示例
Django 关于drf_yasg Api文档使用示例配置settings.py INSTALLED_APPS = [ ... 'drf_yasg', ... ]urls.pyfrom rest_framework import permissionsfrom drf_yasg.views import get_schema_viewfrom drf_yasg import openapischema_view = get_schema_view( o
2020-12-11 17:54:12
5162
3
原创 m3u8文件下载及合并
碰到m3u8的视频文件下载，记录一下m3u8文件头这是此处碰到的m3u8文件头#EXTM3U#EXT-X-TARGETDURATION:12#EXT-X-MEDIA-SEQUENCE:0#EXT-X-KEY:METHOD=AES-128,URI="https://p.bokecc.com/servlet/hlskey?info=F6EB72345C630C919C33DC5901307461&t=1605431808&key=ED9AE821A4D0439E03533D32FB6
2020-11-15 17:19:07
4256
原创 基于cloudera manager的大数据集群平台搭建之集群配置优化
Yarn配置优化配置修改统一在Cloudera-manager中进行修改，操作如下：进入配置页面，选中左侧资源管理：进行如下配置，这里的配置得根据当前NodeManager空闲内存来决定，可以看到cs02配置10GB内存，cs03-cs05配置12GB内存：上面的0字节，是采用默认配置大小，并不是真的为0。其他重要的配置参数解释：1. 配置参数yarn.nodemanager.local-dirs：NodeManager会通过参数yarn.nodemanager.local-dir
2020-10-30 18:32:13
532
原创 基于cloudera manager的大数据集群平台搭建之集群服务安装
继续上篇，这篇介绍集群服务安装监控服务安装出现如下界面的原因是我们没有安装监控服务，因此应该首先安装监控服务，便于后面安装其他服务的过程出现问题的排查。点击如下直接进行添加监控服务的操作：选择需要将服务添加的主机，一般监控服务建议单独安装到一台专门用于监控的服务器上，由于我们的集群资源有限，所以监控服务全部安装到了主节点。选定我们的分配的主机cs01后，点击继续进入如下页面：这里要对数据的存储目录进行修改，原因是我们根目录的总容量为50G，存储空间太小，因此需要跟换到容量大一点的目录下，
2020-10-30 18:31:51
582
原创 git使用
Git 使用整理自 极客时间git安装官方地址：https://git-scm.com/book/zh/v2使用前配置# 添加配置git config [--local | --global | --system] user.name 'Your name'git config [--local | --global | --system] user.email 'Your e...
2020-10-29 15:41:09
145
原创 基于cloudera manager的大数据集群平台搭建
对于大数据平台，需要的服务器数量较大，对每个服务器进行单一配置安装维护，具有很大的困难。因此，基于cloudera manager管理工具进行搭建大数据平台，具有很大的实用性。已有的参考文章Cloudera Manager安装_搭建CDH集群集群管理工具安装集群准备环境配置1.1 hostname和ip映射修改每台主机hostname和ip映射，这里我们以root用户在每台服务器进行操作，执行命令：vim /etc/hosts// 添加以下内容ip0 name0ip1 name1.
2020-10-29 15:24:42
705
原创 gis shp与shp相交实现
https://gis.stackexchange.com/questions/82935/ogr-layer-intersectionhttps://blog.youkuaiyun.com/songyu0120/article/details/104489282/多边形自相交处理-selfIntersection修复不合法的polygon Fiona用户手册场景工作要解决的问题：项目根据卫星影像和算法得到同一区域两个时间的变化情况，可以得到一个包含变化图斑的.shp文件，但是该区域中不同区域的性质不
2020-09-04 19:02:45
2570
原创 全国省市县三级表创建 数据+代码
目的项目开发中，经常需要省市县三级区域表，留作后续可用，也用作分享，减少重复劳动。该文中数据为2020年6月份数据，数据下载源参考：【2020年6月】民政部省市区三级联动行政区划数据库模型# models.py表的模型from django.db import modelsclass ProvinceThreeLevel(models.Model): """ 行政区划 """ area_code = models.CharField(unique=True,m
2020-08-21 13:42:39
718
原创 python面试题资源集合
本文是收集了一些python面试的试题，时常看看，不容易忘。Python 全栈工程师必备面试题 300 道（2020 版）Python面试题大全及答案GitHub上的python面试题及答案46个经典Linux面试题！（附答案）《Linux命令行大全》读书笔记Django项目常见面试题Django 必会面试题总结Flask------一些面试题Flask面试问题数据库最全MySQL面试题和答案MySql面试题及答案大全50道Redis面试题及答案整理，史上最全！MongoDB面试
2020-08-11 14:21:13
236
原创 极验验证码的处理
碰到极验验证码的问题参考文章：Python爬虫 | 滑动验证码破解但是该文章中的滑动轨迹不适应我的项目，之后参考破解极验(geetest)验证码整个处理的流程：分析使用selenium模拟操作，直到弹出极验验证码对验证码进行切图处理，共三张图片（有可能需要进行js操作）进行图片像素比对，这里有两个参数可能需要进行调整:(1) 比对像素时可以跳过的像素列数(如60)(2) 像素误差容忍值(这里是60,未修改)根据项目对滑块需要滑动的距离进行调整计算滑动轨迹(我这里使用比较老版本的方案反
2020-06-04 16:01:40
552
原创 js中pbkdf2_hmac加密python翻译
加密js代码import hashlibimport base64import hmacimport binasciiimport jsonimport refrom Crypto.Cipher import AESfrom binascii import a2b_hex# url加密代码""" f = o.default.HmacSHA1(o.default.enc.Utf...
2020-04-20 16:12:39
1321
2
原创 再读python基础
# 对于大文件，使用迭代器import fileinputfor line in fileinput.input(filename): process(line)#对于小文件lines=list(open('file_path'))difflib 模块确定两个序列的相似程度，找出相似度最高的序列#使用正则进行切分text='a,b,,,,c,f d're.split('[...
2020-04-20 16:03:16
153
原创 python appium操作app
环境配置参考文章：python鬼才利用appium实现手机APP自动化！下载源参考：win10环境下，appium和python3的安装和配置node.js下载：官网jdk下载：华军软件园android下载：http://tools.android-studio.org/index.php/sdk/appium下载：下载之家 Appium 官方版v1.8.0我安装的时候...
2020-01-17 11:23:10
444
原创 httpCanary app抓包
通用情况的抓包使用 fildder + vpn代理 在同一个局域网内进行抓包分析但是有的手机app对这种模式进行了反爬，当发现vpn代理时，就会无反应，显示connect close因此不能使用此模式解决方案：我要抓包分析的app是：完美志愿app采用的组合：雷电模拟器 + httpCanary + MT管理器因为MT管理器需要root权限，最好使用模拟器进行抓包安装雷电模拟器：官...
2020-01-14 20:41:59
12710
1
原创 python爬虫-教你js解密
该文章是在工作碰到的需要js破解的网站，记录下破解过程。目标网站：优志愿 当然此网址需要vip账号完美志愿 很多数据也需要vip账号优志愿分析请求请求参数是经过加密的，因此需要分析发送请求的过程。ajax请求分析2.1 开启ajax断点2.2 点击按钮后会进入调试模式，一直按 F10 键，跑完一次请求，并观察。2.3 发现请求参数，然后在其前面打断点（下...
2019-12-29 16:59:43
2321
6
原创 python爬虫-字体反爬全流程（woft文件-转换字体-字体图片-图片识别全流程）
python字体反爬https://www.cnblogs.com/xiang-wu/p/11603426.htmlhttps://blog.youkuaiyun.com/hacklyc/article/details/77101965http://ftp.acc.umu.se/pub/GNOME/binaries/win64/gtk+/2.22/https://blog.youkuaiyun.com/oatne...
2019-12-01 15:56:56
1684
原创 abupy文件结构功能
学习量化系统开发量化系统分为：回测模块 包括 择时系统 、选股系统实盘模块择时系统：买入因子卖出因子滑点买入、卖出价格确定及策略实现多只股票使用相同的因子进行择时仓位管理策略多只股票使用不同因子进行择时提升运行效率系统选股：选股因子的实现多个选股因子并行执行提升效率于是想学习github上的开源项目：abupyvnpyabupy量化交易系统学习...
2019-11-22 17:44:59
1262
原创 爬虫反爬措施应对
爬虫反爬措施应对请求头headersuser-agent: fake_useragentcookie：referer检测cookie池维护及调度GitHub 开源项目 https://github.com/Python3WebSpider/CookiesPool爬取频率限制由于爬虫发起请求的频率过大，给服务器造成压力，影响正常经营按一个周期时间内的频率限制，先测试周期...
2019-11-19 16:38:14
658
原创 linux下部署web项目
Linux部署web服务器步骤安装linux系统安装基础工具包(根据官网)在root账户下 安装python解释器创建专属权限账户，根据需要对账户进行提权，创建虚拟环境上传项目文件，根据requirements文件，安装环境依赖包安装redis数据库安装nginx服务器，调试静态文件访问安装uwsgi，接管flask与nginx间的动态文件访问实施代码安装linux选...
2019-11-19 16:23:02
494
原创 scrapy框架
Scrapy 框架安装scrapypip install scrapy安装问题：如果遇到 twsited 安装失败，需要手动安装，如果安装64位失败，需要安装32位https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted缺少win32api：pip install pywin32 #安装pywin32之后运行，进行验证安装是否成...
2019-11-19 16:13:49
192
原创 网络编程
网络编程TCP/IP协议TCP/IP协议族：是很多协议总称四层协议应用层：传输层：TCP UDP网络层：IP接口层： MAC七层协议：应用层：表示层：给东西打包 压缩 加密会话层：连接传输层传输层： TCP UDP网络层：路线规划 IP数据链路层：中转站 MAC物理层：网卡局域网IP地址：电子设备在网络上的身份标识子网掩码： 与...
2019-11-19 16:00:35
155
原创 MySql优化
MySQL数据库优化数据库文件mysiam引擎a. xxx.frm : 表结构文件b. xxx.MYD : 表数据文件c. xxx.MYI : 表索引文件innodb引擎MySQL优化步骤发现问题1.1 开启mysql慢查询功能 在mysql的配置文件my.ini(mysql的安装目录下) 配置: 慢查询记录SQL的文件地址 log-slow-qu...
2019-11-19 15:59:28
375
原创 Linux基础
Linux 操作系统linux文档基础教程 http://www.runoob.com/linux/linux-tutorial.html其内核为unix系统使用最多的发行版本：基于Dpkg (Debian系)： Ubuntu基于RPM (Red Hat系)： CentOS虚拟机分类：VirtualBox（开源）：Oracle（甲骨文公司）Vmware公司的系列产品（商...
2019-11-19 15:52:50
126
原创 系统编程
进程程序和进程程序：在硬盘上的二进制文件进程：运行在内存中的程序进程调度：时间片轮转调度 （由于cpu与硬盘处理的速度相差极大，内存在中间作为中转对接） 进程执行顺序没有规律，完全取决于操作系统的调度算法单进程创建进程import os# 第一次创建子进程# 注意，fork函数，只在Unix/Linux/Mac上运行，windows不可以pid = os.fork(...
2019-11-19 15:51:48
140
原创 python 爬虫
Python 爬虫可能用到的工具requests 发送请求 其基础为 urllib2 urllib3re 正则lxml xpath解析 from lxml import etreejson jsonpath(不常用) from bs4 import BeautifulSoup (不常用)selenium 用于模拟浏览器 from sel...
2019-11-19 15:47:26
345
原创 量化交易之路 之基础部分
文章为《量化交易之路》 阿布@著 -----笔记python#命名元组from collections import namedtuple# 有序字典from collections import OrderedDict# 高阶函数map()filter()reduce()# 偏函数from functools import partial# property装饰器...
2019-11-06 12:24:56
914
1
原创 量化投资之路 之 可视化
可视化部分Matplotlib seaborn# 子图plt.subplots(nrows=2,ncols=2,figsize(14,10))# 蜡烛图from mpl_finance import mpl_finance as mpfimport matplotlib.pyplot as pltimport matplotlib.dates as datesfrom abupy...
2019-11-06 12:17:23
1639
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人