华秋实的专栏

此文装载，对于理解python中的三个重要概念：名字、绑定和对象，以及python的思想和一些内部实现机制都很有帮助。见下：i = 1  这是一个再简单不过的赋值语句，即便是才开始学习编程的新手也能脱口而出它的含义 -- “设置变量i的值为1”。i = 2  “将变量i的值改为2”，当看到接下来这行代码时，你脑海中肯定会立即浮现这样的念头。  这

模块地址：https://pypi.python.org/pypi/psutil/psutil功能提供接口可以用来获取信息，包括：当前运行的进程系统（资源使用）信息 CPU 内存 磁盘 网络 用户安装：windows下安装比较简单，从这里下相应的安装包exe，傻瓜安装即可。psutil区分python2.7和python3.x，所以针对自己的环境下不同的包。测试写了一段代码，主要测试

一、doctestdoctest 是一个 Python 发行版自带的标准模块。本篇将分别对使用 doctest 的两种方式——嵌入到源代码中和做成独立文件做基本介绍。1.doctest的概念模型在 Python 的官方文档中，对 doctest 的介绍是这样的： doctest 模块会搜索那些看起来像交互式会话的 Python 代码片段，然后尝试执行并验证结果即使从没接触过 doctest，我

先说明一个常见问题，文件打开：try: f = open('xxx') do somethingexcept: do somethingfinally: f.close()其实我个人不止一次在网上看到有这么写的了，这个是错的。 首先正确的如下：try: f = open('xxx')except: print 'fail to open'

那么接下来，小伙伴们就一起和我真正迈向我们的爬虫之路吧。1.分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒

1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。2.浏览网页的过程在

大家好，本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因： 网络无连接，即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚import urllib2requset = urllib

大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到

大家好，前面入门已经说了那么多基础知识了，下面我们做几个实战项目来挑战一下吧。那么这次为大家带来，Python爬取糗事百科的小段子的例子。首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。友情提示糗事百科在前一段时间进行了改版，导致之前的代码没法用了，会导致无法输出和CPU占用过高的情况，是因为正则表达式没有匹配到的缘故。现在，博主已经对程序进行了重

在前面我们已经搞定了怎样获取页面的内容，不过还差一步，这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具，在其他编程语言

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。Windows 平台：我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。官网文档：http://doc.scrapy.org/en/latest/intro/install.ht

（from me：偶然看到一个python爬虫系列教程，写的很详细，通过step by step，便可以从入门逐步深入，这里就偷懒直接转了，格式上再整理一下。）Python版本:2.7，Python 3请另寻其他博文。首先爬虫是什么？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。根据我的经验，要

后面几个实战暂时不看了，备注一下吧Python爬虫实战二之爬取百度贴吧帖子Python爬虫实战三之计算大学本学期绩点Python爬虫实战四之抓取淘宝MM照片Python爬虫实战五之模拟登录淘宝并获取所有订单

1.设置Headers有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现登陆之后界面都变化了，出现一个新的界面，实质上这个页面包含了许许多多的内容，这些内容也不是一次性就加载完成

OrderedDict是dict的子类，它记住了内容添加的顺序。比较时，OrderedDict要内容和顺序完全相同才会视为相等。示例：import collectionsd = collections.OrderedDict()d[3] = 'A'd[2] = 'B'd[1] = 'C'for k, v in d.items(): print k, v结果：

1.range()用法代码>>> range(1,5) #代表从1到5(不包含5)[1, 2, 3, 4]>>> range(1,5,2) #代表从1到5，间隔2(不包含5)[1, 3]>>> range(5) #代表从0到5(不包含5)[0, 1, 2, 3, 4]2.list的slide用法array = [1, 2, 5, 3, 6, 8, 4] 其实这里的顺序标识是 [1,

1、 File "", line 1print "hello world"^SyntaxError: invalid syntax安装配置好了Python3.3后，即在cmd下输入“python”启动交互式命令行窗口，输入《Python开发技术详解》上的一个语句:print "hello world"，结果就出现了上面这个错误，出师不捷，还好在百度上一下就搜到答案，原因如下

做以下的实验：>>> a = 2.5 >>> b = 2.5 >>> c = b >>> a is c False >>> a = 2 >>> b = 2 >>> c = b >>> a is c True 而使用is函数的时候打印a，b分别被赋值为2.5 和2的情况，发现： >>> a = 2 >>> b = 2 >>> id(a)

（1）以r或R开头的python中的字符串表示（非转义的）原始字符串python里面的字符，如果开头处有个r，比如：(r’^time/plus/\d{1,2}/$’, hours_ahead)说明字符串r"XXX"中的XXX是普通字符。有普通字符相比，其他相对特殊的字符，其中可能包含转义字符，即那些，反斜杠加上对应字母，表示对应的特殊含义的，比如最常见的”\n"表示

python中字符串反转的方法：#字符串的反转def reverse (s): rt = '' for i in range(len(s)-1, -1, -1): rt += s[i] return rtdef reverse2 (s): li = list(s) li.reverse() rt = "".join(li) return rtdef reverse

介绍        把Python的基础知识学习后，尝试一下如何安装、加载、使用非标准库，选择了图像处理模块PIL。        Python Imaging Library (PIL)是PythonWare公司提供的免费的图像处理工具包，是python下的图像处理模块，支持多种格式，并提供强大的图形与图像处理功能。虽然在这个软件包上要实现类似MATLAB中的复杂的图像处理算法并不太适合

有一段代码要import media，打开python自带的IDLE，输入：>>>import media就会提示没有media这个模块！原来media模块不是系统的标准模块，需要安装第三方软件后才能用。这个库是在PyGraphics里，不过PyGraphics依赖一些别的库。可以这样安装（可参考此处：http://packages.python.org/PyGraph

阅读《Practical Programming -An Introduction to Computer Science Using Python》一书时，在第4章提到了使用Nose对Python代码进行测试，因而小试牛刀了一下。----------------------------------------------------------------------------------

激活码

Python 字符串 join +操作符 效率

range xrange

如何在python程序中使用二维数组

编码以’哈’来解释作示例解释所有的问题，“哈”的各种编码如下： 1. UNICODE (UTF8-16)，C854； 2． UTF-8，E59388； 3． GBK，B9FE。 python中的中文编码就是一个极为头大的问题，经常抛出编码转换的异常，python中的str和unicode到底是一个什么东西呢？ 在python中提到unicode，一般指的是unicode对象，

在Python中有很多很好的工具来生成字符串文档(docstring)，比如说: epydoc、doxygen、sphinx，但始终觉得pydoc还是不错的工具，用法非常简单，功能也算不错，本文主要介绍pydocpydoc是Python自带的模块，主要用于从python模块中自动生成文档，这些文档可以基于文本呈现的、也可以生成WEB 页面的，还可以在服务器上以浏览器的方式呈现！【用法】Windows

python中字符串自带的split方法一次只能使用一个字符对字符串进行分割，但是python的正则模块则可以实现多个字符分割import rere.split('_#|','this_is#a|test')返回的是一个列表（list），输出结果如下：['this', 'is', 'a', 'test']