ASIN的专栏

爬虫工具及框架scrapy文档1.0版distribute_crawler使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现, 爬虫状态显示使用graphite实现。portia这是一个使用Web界面的爬虫工具，也是基于Scrapy．pyspiderdemo最佳实践知乎－－能利用爬虫技术做到哪些很酷很有趣很有

# -*- coding: utf-8 -*-# requirementsimport requests, termcolor, html2textimport os, urllib2 try: from bs4 import BeautifulSoupexcept: import BeautifulSouphtml1 =""" <div class="zm-item-a

解决中文编码在程序开头加上， # coding: utf-8 or ### -*- codi -*- codi -*- coding: utf-8 -*-

直方图、PDF图、CDF图直方图 画直方图可以参考Python 中用 matplotlib 绘制直方图（histograms）。另外，plot.ly也提供了画直方图的多种方式。PDF图CDF图 stackoverflow上，针对该问题有多个回答，见–How to plot empirical cdf in matplotlib in Python?。其中一种方法是使用statsmodels

python的多版本管理使用pyenv可实现python的多版本管理，参见Python多版本共存之pyenv 和使用 pyenv 管理 Python 的版本。当主机上同时安装了2.7.8和2.7.11时，可以使用pyenv global 2.7.11设置全局的python版本为2.7.11，此时通过命令pip install your_package安装的包都是2.7.11，但有的包必须使用yum安

python与pip的安装从python官网下载处获取pyhton的windows安装包，默认的是32位，最好选择64位安装，因为如果运行的程序占用内存比较多，内存很容易溢出。安装时可以把pip和自动设置环境变量勾选上，这样后续不需要再对它们进行单独安装配置。若想单独安装，请参考windows下面安装Python和pip终极教程。加速包的下载命令行安装python默认的安装源在国外，有时安装某些包会

示例1：修改全局变量值在函数中使用global关键字表示使用（修改）的是全局变量。num = 100def func(): global num num = 200 x = num + 100 print(x) #print 300func()print num # print 200示例2：局部同名变量优先函数中定义同名的变量时，优先使用该局部变量。num =