- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python自动生成ffmpeg转码HEVC (X265，H265) 命令
前阵子下载了很多电影，造成磁盘空间严重不足，为了节约小钱钱于是萌生了将H264电影压缩成HEVC的念头。本程序在Win10中开发，并通过测试。1. 这段代码用到pymediainfo库，具体安装请自行百度。2. 关于控制视频质量的参数。函数 bit_rate_control返回输出视频的码率，如果原始视频码率低于1800kbps，则输出体积大约是原视频的70%大小。码率超过 20000kbps 如果，则输出文件约为原视频的20%（一般来说，细节损失还可以接受）。经过大量实践1080P 30fp.
2022-05-07 19:36:54
4836
原创 Notepad++ 使用正则表达式替换
原文：magnet:?xt=urn:btih:NS67HUUVX32KX5U6SY24IAX14PNVRY4JUU6M3</p><span class="input-group-addon content">11</span> <span class="input-group-addon content">第11集</span> <input type="text" readonly="readonly" class="form-cont
2021-12-06 12:02:08
2836
原创 树莓派4 Ubuntu 64位系统 7zip benchmark 跑分
硬件： 树莓派4 4G内存操作系统：PiOS 32Bits和UbuntuServer 64Bits7zip版本： 16.02从结果上看 ：原生树莓派系统使用32位系统，全核跑分 3449占用率为 235 UbuntuServer 64位系统，全核跑分5169占用率为 395Ubuntu跑分图树莓派原生系统跑分...
2021-12-04 15:39:44
2551
1
原创 python pandas 多进程 apply
今天介绍一个库,叫pandarallel,用于pandas库多线程执行.安装库 pip install pandarallel测试平台:+ 32位树莓派系统 Pi OS+ python 3.7+ pandas 1.0.3大致代码如下:```# 这是一段简单计算RFM的代码today = datetime.datetime.now()df = pd.read_csv('rfm.csv', parse_dates=['max_trandt'])bg = time..
2021-04-07 15:42:43
1566
原创 Python自动生成和安装依赖 requirements.txt
如何自动生成和安装requirements.txt依赖在查看别人的Python项目时，经常会看到一个requirements.txt文件，里面记录了当前程序的所有依赖包及其精确版本号。这个文件有点类似与Rails的Gemfile。其作用是用来在另一台PC上重新构建项目所需要的运行环境依赖。requirements.txt可以通过pip命令自动生成和安装生成requirements.txt文件pip freeze > requirements.txt安装requirements.tx
2020-12-23 00:08:43
300
原创 Python request urllib 获取远程文件大小
Python request urllib 获取远程文件大小有两个方法requests库import urllibimport requestsurl=r'https://down.qq.com/qqweb/PCQQ/PCQQ_EXE/PCQQ2020.exe'download=requests.get(url)print(download.headers['content-length'])这个方法可以取到文件大小,但是缺点在于,首先会下载文件.urllib库import url
2020-12-14 18:08:59
1608
原创 安装psycopg2报错Error: pg_config executable not found.
在安装psycopg2时发生错误 Error: pg_config executable not found.需要安装2个库执行语句sudo apt-get install python-psycopg2,libpq-dev结果：pi@raspberrypi3:~ $ pip3.9 install psycopg2Defaulting to user installation because normal site-packages is not writeableLooki..
2020-07-11 00:20:12
946
原创 树莓派RaspberryPi(Ubuntu\Debian\Mint)升级python到最新版本
# 树莓派RaspberryPi(Ubuntu\Debian\Mint)升级python到最新版本## 树莓派目前默认安装的python版本为3.7.3本文以python 3.9.0b4为例，其他版本安装大同小异除树莓派之外本教程适用于基于Debian的大多数系统，例如Ubuntu，Mint，Debian。1. 首先下载安装包 ### `wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0b4.tar.xz`2. 解压...
2020-07-09 22:58:03
1749
原创 用Python给宝宝写一个故事机（语音朗读）
用Python给宝宝写一个故事机运行环境及其说明 Windows Python3.6以上 可以朗读中文 需要安装的库+ pypiwin32（用于朗读）pip install pypiwin32+ pandas（用于记录上一次阅读位置）pip install pandas+ linecache（读取文本文件的指定行）pip ins...
2020-01-31 11:58:05
632
原创 Pandas str(object)转换datatime
正常情况下，从csv中如果没有特殊声明读取的都是文本，这样不利于索引，此外占用的空间也会各个大。为Object类型，如下面代码所示。import pandas as pdif __name__ == '__main__': file = r'D:\TXLOG\Cache\MobileFile\IC当月连续_20161201.csv' df = pd.read_c...
2019-12-28 23:45:53
3303
原创 python运维必须会用的库
python运维必须会用的库：1 os,pathlib(系统操作库)2 logging(运维用到的核心库，用于快速写入日志，非常好用)3 pymysql,pymssql,cx_oracle(这些是常用数据库驱动，很多，不一一列举)4 datetime(日期计算最常用的库),time(经常在统计性能的时候用到，以及sleep)5 random(随机数...
2019-08-03 00:27:42
5082
原创 python3检查字典传入函数键是否齐全
python 在传入字典参数到函数中时总是需要检查键是否齐全，每次手工写总是觉得太麻烦。所以还是自己写一个比较方便。#Check if the incoming dictionary parameters are completedef check_keys(list, dic): if all(k in dic for k in list): return ...
2019-07-01 00:42:40
402
原创 python3保证多进程运算结果的完整性 keep mutliprocess result integrity
python3多进程中如果运行的众多进程之一被kill，那么将无法保证结果的完整性。下面代码提供了一种保证完整性的思路。其中将任务参数暂时保存起来，可以选择文本，数据库，或者其他。[Python,SQL,ETL]交流群 164142295import re, datetime, timefrom multiprocessing import Pool, cpu_count, Qu...
2019-05-04 13:03:31
202
原创 python3 多进程 multiprocess 任务均衡 task-balance 队列 queue V1
python3多进程偶尔会有无法停下的bug，因为多进程竞争读取队列时会有Empty exception所以最好的办法是人为设置进程控制信息，避免因为竞争导致读取队列为空的问题。[Python,SQL,ETL]交流群 164142295以下代码完美处理了这个问题import timefrom multiprocessing import cpu_count, Que...
2019-05-04 12:49:51
546
原创 SQLServer自定义Trim函数
sqlserver直到2017版才有trim函数，之前的版本只能自己写了一直以来用ltrim(rtrim())来写，写起来很麻烦以下提供自定义函数两种思路TRIM函数--多模式版本alter function dbo.trim(@string varchar(8000),@parameter varchar(16))returns varchar(80...
2019-01-15 14:29:21
3737
原创 SQLServer 自定义函数 日期计算月初/月末/年初/年末/季初/季末
SQLServer 2005,SQLServer 2008,SQLServer 2014,SQLServer 2017均可使用 alter function dbo.date_calc( @date date, @para varchar(64) --月初 month_begin,月末 month_end,年初 year_begin,年末 year_end,季初 ...
2019-01-15 14:26:09
4879
1
转载 提高Kettle的MySQL写入速度
本文mysql数据库安装在树莓派上1 适当加大defaultFetchSize能提高ETL速度,大概10%2 修改参数useCompression=true树莓派插入性能暴涨10倍下文是转载内容使用Kettle的初期，一般只是关注Tranaction如何实现功能，对连接参数可以说基本不关注，其实这里面隐含一些性能问题，如果不熟悉这些性能参数，要想提高性能还真的不容易。参考1：http://juli...
2018-04-26 21:01:57
4040
7
原创 raspberry树莓派安装配置golang 1.9.2 环境
树莓派上没有默认的golang环境,于是就安装了一个.测试了树莓派一代B,二代,三代均可,zero没测试过本文只针对没有安装过golang环境的树莓派.1 下载golang环境,可以用wget(翻~墙你懂) 1 wget https://storage.googleapis.com/golang/go1.9.2.linux-armv6l.tar.gz 2 也可以
2017-12-27 19:23:45
2997
原创 sql找出连续时间连续日期和连续数字
tips:1 代码在sqlserver2005实现,其他数据需要经过修改2 计算连续时间和连续数字是同一类问题,所以合起来一起说,计算连续时间的时候只不过将时间转换成数字而已3 此方法相对高效第一步构造数据create table #tmptable(id int identity(1,1),rq smalldatetime)insert #tmptable val...
2017-07-27 09:48:14
6990
转载 python3.4+pymssql 中文乱码问题解决
问题：sqlserver数据库编码为gbk，使用python3.4+pymssql 查询，中文乱码解决办法：conn = pymssql.connect(host="192.168.122.141", port=1433, user="myshop",
2017-02-28 09:53:43
5302
1
转载 SQL SERVER返回列表带if判断的函数写法
范例如下：（来源网络） ALTER FUNCTION fn_ab ( @db VARCHAR(1) ) RETURNS @r TABLE(col1 INT, ......) --定义返回的表结构 AS BEGIN IF (@db='1') INSERT @r SELECT * FROM A ...
2016-11-30 13:24:09
8966
原创 SQL关于加参数/变量查询很慢的问题（参数嗅探）
加参数查询很慢的问题，不加的话查询就很快。有时候是参数嗅探引起的。什么是参数嗅探：SQL Server对查询语句编译和缓存机制是SQL语句执行过程中非常重要的环节，也是SQLOS内存管理非常重要的一环。理由是SQL Server对查询语句编译过程是非常消耗系统性能，代价昂贵的。因为它需要从成百上千条执行路径中选择一条最优的执行计划方案。所以，查询语句可以重用执行计划的缓存，避免重复编译，...
2016-11-29 14:52:01
5718
原创 SQL Server 覆盖索引
覆盖索引，通过索引列直接查找数据。如果有索引create indexidx_cover_a ontable_a(b,c)当查询select d,e from table_a where b='123123' and c='12434'时效果往往不是最佳。需要用下列索引CREATE NONCLUSTERED INDEX [idx_cover_a] ON table_a
2016-11-28 21:25:05
1041
转载 SQL中日期函数计算月初/月底/季末/年初/年底
SQL SERVER 2005的代码日期计算，获取月初、月底、上季初、上季末，以及判断是否月底。 declare @month_bg datetime declare @month_ed datetime select @month_bg=convert(varchar(8),@trand
2016-11-28 14:38:45
19540
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人