蛙鳜鸡鹳狸猿

关系型数据库在设计表的时候一般都会在业务表中定义一个‘YYYY-MM-DD HH:MM:SS’格式的DATETIME或TIMESTAMP(为了系统向后兼容一般现在很少使用TIMESTAMP了)型字段来存储该条记录写入数据库时的时间。以下示例为获取表中前一个月记录的DQL写法。SELECT t.*FROM `table` AS tWHERE YEAR(t.`datetime_column`) = YEAR(DATE_SUB(CURDATE(), INTERVAL 1 MONTH))AND MONT

Python的int型写入Excel时会有两种潜在问题（参考https://support.office.com/en-us/article/display-numbers-in-scientific-exponential-notation-f85a96c0-18a1-4249-81c3-e934cd2aae25?ui=en-US&rs=en-US&ad=US）：数字长度超过...

背景：帮产品写一个类OLAP的报表脚本。场景：Python连接业务库MySQL读取原始数据并计算后将结果写入新的报表库MySQL。问题：DQL和DDL手动执行都没有任何问题但是放到Python脚本中跑一段时间后会报错。Python的Traceback报错信息_mysql_connector.MySQLInterfaceError: Lost connection to MySQL...

之前拿到一堆源码文件，在整理的时候需要计算一些文件之间的相似率。与之相关第一个想到的就是Linux上的” diff “命令。把diff命令的输出拿过来简单计算一下，就有结果了。于是用Python调用一下命令行，短短几行代码，就OK了。# !/usr/bin/python# -*- coding: utf-8 -*-"""create_author : 蛙鳜鸡鹳狸猿create_ti

Redis官方提供了很多相关的Python客户端程序，推荐“ redis-py ”。①安装     redis是Python客户端库；hiredis是一个用于提升redis库运行速度的C解析器（如果安装了程序运行时会自动加载）。pip install redispip install hiredis②连接     redis-py支持多种连接方式。除了通用的“服务

1.MySQL中定义对应的表/字段的字符编码为utf8mb4MySQL引入utf8mb4将最大存储3字节字符长度的utf8扩展到4字节，以存储包括emoji表情在内的4字节长字符文本。所以使用MySQL Connector/Python将长字节特殊符号写入MySQL前，需要先保证正确的表定义。例如，以下`chat_message_record`.`message`字段。CREATE TA...

# !/usr/bin/python3# -*- coding: utf-8 -*-"""create_author : 蛙鳜鸡鹳狸猿create_time : 2019-01-21program : *_* mail handler *_*"""import osimport reimport sysimport poplibimport char...

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""create_author : 蛙鳜鸡鹳狸猿create_time : 2019-03-19program : *_* .tsv file handler *_*"""import codecsclass TSV(object): """ .t...

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""create_author : 蛙鳜鸡鹳狸猿create_time : 2019-03-28program : *_* symbol(secret key and hash code) generation handler *_*"""import timeim...

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""create_author : 蛙鳜鸡鹳狸猿create_time : 2019-03-20program : *_* log logging handler *_*"""import sysimport loggingimport functoolsc...

MySQL等传统数据库都有字段数据类型定义的设计。定义好字段类型以后，往字段里面插入/更新的数据，就要复合其数据类型的定义了，不然会写入报错。程序中往数据库里写入数据的时候，为了避免写入错误的发生，往往在写入之前需要判断一下写入数据是否复合数据库定义。以下是自己写的MySQL / MariaDB中一些主要的常规数据类型的Python检查。#!/usr/bin/env python3# -*...

Python内部以tuple格式实现关系型数据库的查询结果。但在程序与程序、接口与接口之间，dict或者JSON格式更加方便和通用一点，所以从数据库中查询到的结果往往需要转换一下。这就包括两种手段：一种手段是将tuple中的每个记录值与其对应的字段名zip一下，然后构造成dict（https://dev.mysql.com/doc/connector-python/en/connector-pyt...

应用层面对数据库的操作集中在读和写上面，具体可以主要细分为以下三个常规需求。①写（DDL、DML）：不需要实际返回值（非程序退出码的查询结果集）②读（DQL）：需要返回查询结果集（或None）③读（DQL）：虽然也关注查询结果，但只关注查询结果的布尔（bool）性，即判断是否存在。本脚本主要就是为了实现MySQL / MariaDB这三方面的操作需求，同时做了一些额外但常规的封...

更新一：下文脚本已经重写并分享到GitHub，而且新的脚本同时集成了亚马逊AWS的相关操作实现，参考https://github.com/Bilery-Zoo/Cloud_Platform_Maintenance/tree/master/CloudPlatform_WhitelistIP_Switcher。而亚马逊AWS单独实现的脚本，也可以参考之后的博文https://blog.csdn.n...

目前工作中需要维护包括亚马逊AWS、阿里云Alibaba Cloud和微软云Microsoft Azure在内的云平台服务设施。关于白名单组IP地址切换（旧的IP换成新的IP）的工作是分云平台进行的，刚开始独立写每个云平台的脚本，后来因为常用就整合在了一起。参考GitHub上的完整代码：https://github.com/Bilery-Zoo/Cloud_Platform_Maintenance...

安装好图数据库Neo4j和相应的Python库neo4j-driver后（ http://blog.youkuaiyun.com/sweeper_freedoman/article/details/70189153 ），就正式开始读写Neo4j了。# !/usr/bin/python# -*- coding: utf-8 -*-"""create_author : 蛙鳜鸡鹳狸猿create_t

Excel电子表格在实际使用中，最常规的需求基本上包括定义标题、定义表头和写入具体记录行三部分内容。使用Python借助openpyxl库（http://openpyxl.readthedocs.io/en/default/index.html）就可以轻松实现了。参考如下小脚本，同时实现了合并列重复单元格和自动模糊适应列宽。# !/usr/bin/python# -*- coding: ut

工作中涉及到给客户定时发邮件，这里提供一个Python小脚本，单独放进一个py小文件，每次用时import一下非常简单方便。# !/usr/bin/python# -*- coding: utf-8 -*-### create_author: 蛙鳜鸡鹳狸猿# create_time : 2016-10-10# program : *_*send ...

“ImageMagick”可以说是开源的代码/命令行版PS，它支持包括创建、编辑、构图再到格式转换的图片处理功能。更重要的是，它几乎完整支持大部分编程语言，其中Python的接口库就是“PythonMagick”了。具体参考http://www.imagemagick.org/script/index.php。以下整理了“PythonMagick”库在各操作环境的简易安装方法。①RPM式

近期工作中涉及到要批量处理pdf文件，在网上找了一下发现了“PyPDF”库，最后则采用了“PyPDF2”。参考http://mstamy2.github.io/PyPDF2/，“PyPDF”是始于2005年的一个pdf工具包，2011年末基于“PyPDF”而以改善pdf文件输入为初衷的改良加强版的“PyPDF2”出现。“PyPDF”和“PyPDF2”都是“purePython”库所以直接支持“pi

【MySQLdb】 MySQLdb（https://pypi.python.org/pypi/MySQL-python/1.2.5）库是很老的一个库（interface），适用范围暂时局限在MySQL-3.23到5.5以及Python-2.4到2.7，是我接触的第一个和一直在用的Python ~ MySQL库。所以这里详细介绍一下。首先是各操作平台的简易安装方式。①RP...

【前言】     学习工作中，反单引号“ ` ”这个东东在代码和程序中越来越常见了，因此专门小结一下。因个人学识有限，所以这里只记录亲身体验过的那一部分。另外，可以参考“ ` ”的百度百科词条http://baike.baidu.com/link?url=1okXapsQKMemThKADipScvdrZYfkk0mbgCRiiAAjXDps93SMXq0Gmjv4xflD_RhLwib_Fl

最近又要帮客户写脚本拉一份统计日报，就先把一堆一堆的小SQL写好测好后，准备用Python封装一下。但是用到第三方“pandas”模块的“to_sql”方法往MySQL数据库写数据时，却报了“Invalid MySQL identifier”无效标识符的错。在网上找了一下，经过尝试，顺利解决。     参考SO，http://stackoverflow.com/questions/30

工作中需要进行转换图片格式的操作，将部分图片格式转换成WEBP格式，在网上找了一下方法，就是PIL了。以下整理了“PIL”库在各操作环境的简易安装方法。①RPM式系统（Redhat、CentOS）yum install python-imaging②DEB式系统（Debian、Ubuntu）apt-get install python-imagingapt-get

工作中经常碰到这种情况：脚本开发是在本地（Windows），然后等脚本写好测好后放到生产服务器（Linux）。这就涉及到脚本在两种操作系统上的迁移和文件目录使用问题。以下小脚本虽然简单但还是很实用的。import osimport platform# set pathdef doc_path(): if platform.system() == "Linu

近日工作中接到一个工单，是将现有的MySQL表写入MongoDB供前端使用。于是就写了一个Python脚本。趁着周末再修修补补完善一下，以后就可以满足很多基本的工作需要了。脚本具体如下。# !/usr/bin/python# -*- coding: utf-8 -*-"""author : 蛙鳜鸡鹳狸猿create_time : 2017年 03月 19日 星期日 05:55

近期工作中涉及到处理后台日志，要将大量IP数据转换成具体的地理位置，如“国家-省-市”。去网上找了一下，有很多可以拉过来用的方法，参考这篇文章，http://ju.outofmemory.cn/entry/77846，提供了比较完整的实现方式和具体代码。以此为基础，经过小小修改，任务得以顺利完成。# !/usr/bin/python# -*- coding: utf-8 -*-"""au

对图片的处理有的情况下是对存储大小而非纵横的“width&height”有要求，这种对图片文件磁盘存储大小修改的工作也往往是批量的。借助Python通过“PythonMagick”库（参考：http://blog.youkuaiyun.com/sweeper_freedoman/article/details/52994690）可以实现需求。脚本简单如下。# !/usr/bin/python#

在项目APP开发过程中需要将pdf文件逐页转成图片，并同时修改图片的大小（磁盘大小有要求而尺寸大小不作要求），研究了一下通过Python的“PyPDF2”库（参考：http://blog.youkuaiyun.com/sweeper_freedoman/article/details/52994400）和“PythonMagick”库（参考：http://blog.youkuaiyun.com/sweeper_freed

      “ImageMagick”的Python库是“PythonMagick”，如之前的博文（http://blog.youkuaiyun.com/sweeper_freedoman/article/details/53000520，http://blog.youkuaiyun.com/sweeper_freedoman/article/details/53000145），有借用“PythonMagick”写过...

最近加入一个新项目，需要用到一个第一次接触的技术——图数据库Neo4j。这两天也一直在学习这门技术。记得我的一个老师说过，要学习一门技术，首先要动手去安装它。接触的东西多了，觉得这句“废话”却也是很有一番朴实的哲理。按照官网的 Neo4j的安装

本文从个人的经历出发，谈谈对R和Python的认识，因本人刚刚毕业小学僧一枚工作资历尚浅，且R和Python基本上都是自学的只能算马马虎虎入门级别，所以文中所述仅仅小蛙井底之言。     小僧最早接触的处理数据的工具是Excel，再后来依次是SPSS和Stata。Excel是大一计算机基础课学的。因本人不喜欢上课学习，所以课堂上基本上没学到什么，但自己喜欢倒腾电脑，因此业余还是掌握了不少技巧。