haleycat的博客

题记本文介绍了Python对于正则表达式的支持，包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。正则表达式在很多的应用中都有使用到，特别是在网络爬虫中格式化html后取出自己需要的属性，在字符串的匹配和查找中也有很多的应用。本文主要使用python对正则表达式进行说明，并配合合适的代码。如何匹配手机号码正则表达式的规则，一开始看的时候，会感觉规则太

数据库在开发过程中是最常见的，基本上在服务端的编程过程中都会使用到，mysql是较常见的一种数据库，这里介绍python如果连接到数据库中，并对数据库进行增删改查。安装mysql的python扩展使用MySQLdb第三方扩展库连接mysql，首先在python解析器下，查看MySQLdb是否已经安装，命令如下：import MySQLdb如果没有安装会出现下面的错误：Im

原文地址 ：http://www.bugingcode.com/blog/python_xlrd_read_excel_xlwt_write_excel.html在数据分析和运营的过程中，有非常多的时候需要提供给别人使用，提供的形式有很多种，最经常使用的是Excel， 而 数据的统计和分析采用的是 python， 使用 python 把数据存在Excel 也是常见的事情，也有很多的库帮我们做了

爬虫抓取数据时有些数据是动态数据，例如是用js动态加载的，使用普通的urllib2 抓取数据是找不到相关数据的，这是爬虫初学者在使用的过程中，最容易发生的情况，明明在浏览器里有相应的信息，但是在python抓取的网页中缺少了对应的信息，这通常是网页使用的是js异步加载数据，在动态显示出来。一种处理方式是找出相应的js接口，但是有时这是非常难得，因为还的分析js的调用参数，而有些参数是有加密的，还的

原文地址：http://www.bugingcode.com/blog/python_dic_create_sort.html在python的编程中，字典dic是最典型的数据结构，看看如下对字典的操作：建立字典直接使用 {} 建立空字典：book_price = {}直接初始化的方式建立字典：book_price = {'a':23,'b':30}这是一种key

原文地址：http://www.bugingcode.com/blog/python_html_web_server.htmlpython作为工具，提供了很多好用的命令，比如有时候突然需要建立一个解析静态的html页面的服务器， 我们不需要在安装http服务器，python就能够轻松简单的做到。先创建一个index.html的页面：hello world写上最简单的hello 代

原文地址：http://www.bugingcode.com/blog/python_re_extraction_key.html关于python的正则使用在以前的文章中 http://www.bugingcode.com/blog/python_regular_expressions.html ，都有介绍，但是这边文章比较大，内容讲的不够细，这里专门讲如何用python正则匹配到自己需要的字...

原文地址：http://www.bugingcode.com/blog/python_module_array.htmlarray 模块是python中实现的一种高效的数组存储类型。它和list相似，但是所有的数组成员必须是同一种类型，在创建数组的时候，就确定了数组的类型。 Type code C Type Python Type Minimum size in byt...

原文地址：http://www.bugingcode.com/blog/python_calendar.htmlcalendar 模块是python实现的unix 的 cal命令。它可以以标准的模式打印出给定年月的日历。prmonth(year, month)打印给定月份的日历。例子：使用calender 模块import calendarcalendar.prmonth(199...

eval函数仅仅允许执行简单的表达式。对于更大的代码块时，使用compile和exec函数。例子：使用 compile函数验证语法NAME = "script.py"BODY = """prnt 'owl-stretching time'"""try: compile(BODY, NAME, "exec")except SyntaxError, v: prin...

原文地址：http://www.bugingcode.com/blog/python_csv.htmlcsv 模块被用来读取CSV格式（用逗号分割数值）的数据文件，CSV格式的文件经常在微软的Excel和其他的程序中使用到。一个CSV文件经常包含一些行，每行包含一些列，列和列之前通常使用逗号分隔。如下的例子：Title,Release Date,DirectorAnd Now For...

原文地址：http://www.bugingcode.com/blog/python_datetime.htmldatatime 模块题共用一些处理日期，时间和时间间隔的函数。这个模块使用面向对象的交互取代了time模块中整形/元组类型的时间函数。在这个模块中的所有类型都是新型类，能够从python中继承和扩展。这个模块包含如下的类型：datetime代表了日期和一天的时间da...

在服务器和客户端的数据交互的时候，要找到一种数据格式，服务端好处理，客户端也好处理，这种数据格式应该是一种统一的标准，不管在哪里端处理起来都是统一的，现在这种数据格式非常的多，比如最早的xml，再后来较为流行的json。JSON是什么JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定

从第一章到上一章为止，基本把python所有的基础点都已经包括了，我们有控制逻辑的关键字，有内置数据结构，有用于工程需要的函数和模块，又有了标准库和第三方库，可以写正规的程序了。python可以做非常多的事情，最火爆的事情应该是大家一直都在讨论的爬虫，这里编写一个简单的爬虫例子，它能够真正的运行，但主要的目的是在提高对之前知识点的理解和熟悉python如何编写简单工程。编写一个爬虫，爬取w

题记python中email模块使得处理邮件变得比较简单，今天着重学习了一下发送邮件的具体做法，这里写写自己的的心得,也请高手给些指点。相关模块介绍发送邮件主要用到了smtplib和email两个模块，这里首先就两个模块进行一下简单的介绍：smtplib模块smtplib.SMTP([host[, port[, local_hostname[, timeout]]]])

python中，对字符串的操作是最常见的，python对字符串操作有自己特殊的处理方式。字符串的截取python中对于字符串的索引是比较特别的，来感受一下：s = '123456789'#截取中间的两个字符s[1:3]#输出为：'23'#从某个位置到结尾s[4:]#输出为：'56789'#字符串的顺序不仅仅可以顺着数，也可以逆着数s[-8:7]#输出为'23456

题记读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。遍历文件夹

ASCII码我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从0000000到11111111。 上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的

题记 在获取中文字符的时候，如果出现乱码的情况，我们需要了解当前的字符串的编码形式。使用下面两种方法可以判断字符串的编码形式。法一：isinstance(s, str) 用来判断是否为一般字符串isinstance(s, unicode) 用来判断是否为unicode或if type(str).__name__!="unicode": str=unicod

题记 一般我喜欢用 utf-8 编码，在 python 怎么使用呢？使用utf-8 文字在 python 源码文件中用 utf-8 文字。一般会报错，如下：File "F:\workspace\psh\src\test.py", line 2SyntaxError: Non-ASCII character '\xe4' in file F:\workspace\psh\

题记shutil模块提供了大量的文件的高级操作。特别针对文件拷贝和删除，主要功能为目录和文件操作以及压缩操作。对单个文件的操作也可参见os模块。拷贝文件shutil.copyfile复制文件内容（不包含元数据）从src到dst。 DST必须是完整的目标文件名;拷贝目录参见shutil.copy()。如果src和dst是同一文件，就会引发错误shutil.Error。dst必

题记os.path 模块，可以获取文件路径的相关操作，比如判断是不是文件夹，文件是否存在等。文件路径相关操作os.path包主要是处理路径字符串，比如说’/home/vamei/doc/file.txt’，提取出有用信息。import os.pathpath = '/home/vamei/doc/file.txt'print(os.path.basename(path))

题记我们为什么需要一个爬虫框架？一个爬虫框架能帮我们做什么事情，减轻我们什么样的一些工作，我们重新梳理爬虫到底是做什么的，哪些工作是重复的工作，我们可以用框架来解决的。一个简单的爬虫，从一个url开始，从开始的网页里面解析到所有可能的链接，通过这些链接不断的递归，抓取到全网的网页。在这个过程中，需要考虑抓取的url重复问题，在不断扩张后的网页中，可能包含在我们已经抓取的网页地址，

题记threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。python当前版本的多线程库没有实现优先级、线程组，线程也不能被停止、暂停、恢复、中断。threading模块提供的类：Thread, Lock, Rlock, Condition, [Bounded]Semaphore, Event, Timer, local。threading 模块提供的

题记有人说：virtualenv、fabric 和 pip 是 pythoneer 的三大神器。不管认不认同，至少要先认识一下，pip现在倒是经常用到，virtualenv第一次听说，不过，总得尝试一下吧。一、安装pip install virtualenv因为我已经安装了pip，那么就直接用pip来安装了，简单方便。其它的安装方式请参考官方网站：http://www

1.两个字典：a={‘a’:1,’b’:2,’c’:3} b= {‘aa’:11,’bb’:22,’cc’:33}合并1：dict(a,**b) 操作如下：>>> a={'a':1,'b':2,'c':3}>>> b= {'aa':11,'bb':22,'cc':33}>>> dict(a,**b){'a': 1, 'aa': 11, 'c': 3, 'b': 2, 'bb': 2

ftplib模块包含了文件传输协议（FTP）客户端的实现。下面的例子展示了如何登入和获取进入目录的列表，dir函数传入一个回调函数，该回调函数在服务器相应时每一行调用一次。ftplib模块默认的回调函数简单的把相应打到sys.stdout下。值得注意的是目录列表的格式是和服务器相关的（通常来讲获取的目录形式和服务器平台的形式是一样的）。例子：使用ftplib模块获取文件夹列表imp...