踏莎行的博客

让代码变得有趣又有用

用python可以很小巧轻便的实时监控日志文件增量刷新，根据某些关键字进行匹配，方便做运维异常告警代码import timeimport re# specify log file pathlog_path = "my.log"# open file and monitor newst linenumber = 0position = 0with open(log_path,...

为了测试某个服务的稳定性，通常需要在服务长时间运行的情况下，监控其资源消耗情况，比如cpu和内存使用这里借助python的psutil这个包可以很方便的监控指定进程号（PID）的cpu和内存使用情况代码process_monitor.pyimport sysimport timeimport psutil# get pid from argsif len(sys.argv) &l...

科学计算或者写量化策略有时候需要用matlab去调用python的api，这里推荐一个简单的实现方法。 其实matlab比较新的版本中自带了一个适配组件可以直接调用python系统函数查看一下python的版本>> pyversion version: '2.7' executable: 'D:\Programs\WinPython-64bit-2.7.10.3\python-

扩展名在写Python程序时我们常见的扩展名是py, pyc，其实还有其他几种扩展名。下面是几种扩展名的用法。pypy就是最基本的源码扩展名pywpyw是另一种源码扩展名，跟py唯一的区别是在windows下双击pyw扩展名的源码会调用pythonw.exe执行源码，这种执行方式不会有命令行窗口。主要用于GUI程序发布时不需要看到控制台信息的情况。pyc在执行python代码时经常会看到同目录下自动

mxnet支持将已训练的模型导出成网络和参数分离的json和params文件，方便离线加载进行预测和验证，同时由于mxnet支持python，C++，scala等多种编程语言，这一特性使得mxnet可以在生产系统上部署「fine-tuning」本文以一个简单那的线性回归训练模型的例子，来介绍如何在mxnet中训练模型，导出模型，加载模型，进行后续预测，其中预测部分采用了python和C++双版...

mxnet作为一个强大的机器学习工具，一直缺乏像tensorflow一样的可视化工具，dmlc社区最近将tensorflow的tensorboard部分代码抽出来做成了一个适配mxnet的记录工具mxboard，使得mxnet里面打印出来的log，可以在tensorboard里面实现可视化mxnet自带可视化在这之前，可以先看看mxnet之前的网络可视化方式，mxnet内部集成了gra...

dlib库有对应的python扩展接口包，安装后就可以用python来调用ldib库写程序。获取从官网dlib官网或者github地址dlib源码下载最新源码这里用的是dlib-19.17安装选择从源码编译安装（python2和python3都行）保险起见，在编译安装之前最好打开dlib-19.17/dlib/CMakeLists.txt，显示地设置不使用blas、lapack、cud...

C++的网络库一般都很重，这里基于zmq这个高性能的消息中间件用C++和python写了一个客户端/服务器互相异步通信的rpc组件代码github：https://github.com/tashaxing/LittleRpc其中：用的是zmq的router和dealer异步模式支持请求/应答和推送src/cpp目录的little_rpc.h和little_rpc.cpp是C++实现的...

有时候又这样的需求，有两个文件（里面是表形式的数据，字段有重合也有不一样的），需要对比两个文件之间的差异数据记录并摘出来文件示例A文件表每条记录的格式：03090000 00049993 9222100502392220106000000020000029000170124500019054 20170124 12:30:0162290834743551291

正则式太难学，而且容易忘记 ，西西是看过很多次，都是一会就全部不记得了滴。很多不太懂正则的朋友，在遇到需要用正则校验数据时，往往是在网上去找很久，结果找来的还是不很符合要求。所以我最近把开发中常用的一些正则表达式整理了一下，在这里分享一下。给自己留个底，也给朋友们做个参考。一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^\d{n}$ 3 至少n位的数字：^\d{

【原文】http://my.oschina.net/tuxpy/blog/282607python爬虫抓取制定网页内图片并保存到本地的方法一般有两个步骤。步骤步骤1：获取网页的html文档中指向图片的url步骤2：从url中保存图片到本地代码单线程同步版#coding:utf-8import reimport urllibimport urllib2import sysimport os

spark官方地址：http://spark.apache.org/docs/latest/running-on-yarn.html环境linux centos hadoop-2.6.0spark-1.3.1-bin-hadoop2.6 jdk1.7 python2.6 spark部署yarn模式集群，必须先启动hadoop中的yarn，然后在spark上提交应用到yarn集群上运行。步

spark官网文档：http://spark.apache.org/docs/latest/spark-standalone.html环境linux centosspark-1.3.1-bin-hadoop2.6jdk1.7python2.6 可以用tar.gz这种离线包解压后再配置环境变量，修改/etc/profile或者~/.bashrc文件并使用source命令使之生效。（本次仅仅

有的时候经常用到这个功能，批量修改视频或者图片的名字，按照数字编号等等，自己用python脚本解决，轻量级又方便。简单版对单个目录下文件后缀名 demo.py#coding:utf-8import os# 列出当前目录下所有的文件files = os.listdir(".") for filename in files: portion = os.path.splitext(fi

批量复制或者删除文件，（复制+删除）就等于移动，呵呵代码#coding=utf-8import osimport shutil #递归复制文件夹内的文件def copyFiles(sourceDir,targetDir): #忽略某些特定的子文件夹 if sourceDir.find("exceptionfolder")>0: return #列出源

python自带了zip和tar压缩和解压相关的工具模块，可以方便的进行（批量）压缩和解压文件或者文件夹。代码#coding=utf-8import osimport zipfileimport tarfile#压缩文件或文件夹为zipdef zip_dir(srcPath,dstname): zipHandle=zipfile.ZipFile(dstname,'w',zipfile

需要安装第三方模块PIL代码#coding:utf-8import Image import os#图片压缩批处理 def compressImage(srcPath,dstPath): for filename in os.listdir(srcPath): #如果不存在目的目录则创建一个，保持层级结构 if not os.path.exi

https://www.zhihu.com/question/23003213 知乎详细总结 http://blog.youkuaiyun.com/taiyang1987912/article/details/44779719 实例 http://blog.youkuaiyun.com/magictong/article/details/8947892 实例毕业设计需要用到C++与python混合...

0 工程环境windows8.1python2.7.8django1.51 创建项目方法一：命令行创建django-admin.py startproject myweb方法二：用pycharm这个IDE来创建工程目录：这里pycharm会自动创建模板目录tmplates，并且在settings.py文件中加入这个模板的相对路径，