大熊猫的专栏

# -*- coding: cp936 -*-import string, urllib2 #定义百度函数 def baidu_tieba(url,begin_page,end_page): for i in range(begin_page, end_page+1): sName = string.zfill(i,5) + '.html'#

python中如何避免中文是乱码经验一：在开头声明：# -*- coding: utf-8 -*-# coding:utf-8经验二：遇到字符（节）串，立刻转化为unicode，不要用str()，直接使用unicode()unicode_str = unicode('中文', encoding='utf-8')print unicode_str.encode('ut

import pygame #导入pygame库import mathfrom pygame.locals import * #导入一些常用的函数和常量import random#2初始化pygame,为使用硬件做准备pygame.init()#创建了一个窗口width, height = 640, 480screen=pygame.display.set_mode((widt

urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()1.geturl()：这个返回获取的真实的URL，这个很有用，因为urlopen(或者opener对象使用的)或许会有重定向。获取的URL或许跟请求URL不同。以人人中的一个超级链接为例,我们建一个urllib2_test10.p

第二十一讲lambda表达式（匿名函数）1.      基本语法lambdax: 2 *x + 1等同于def xxx（x）：           return x : 2 *x +1 2.      复杂的内置函数a)        filter（function orNone, sequence）返回的sequence为True的值。如果function

第十六讲 序列1.      列表、元组和字符串的共同点：a)        通过索引得到每一个元素b)        索引从0开始c)        可以通过分片的方法得到一个范围内的元素集合d)        有很多共同的操作符2.      list方法，help（list）查看帮助3.      tuple方法help（tuple）查看帮助4.      s

第六讲 常用操作符1.      算数操作符：a)        d += 3 b)        a = b = c = d = e = 102.      优先级：先加减再乘除，有括号先括号比较符优先级高于逻辑符3.      逻辑操作符：and            or     not4.      优先级汇总：第七讲 分支和循环11.

第十一讲 列表21．  列表获取元素：Mix[0]Mix2=Mix[2:5]  //拷贝分片得到2到4的，修改mix不会修改mix2Mix[:3]  //从0到22．  列表删除元素：mix.remove(“哈哈”)del member[2]member.pop(2)//把索引为2的元素删除第十二讲 列表3 （操作符的使用）1．  可以比较大小 （  ==）

第三讲变量和字符串1.      变量名不能以数字开头2.      变量名大小写敏感3.      字符串可以是“  也可以是  ’4.      转意符 \  : print(‘let\’s go!’)   Print(“let’s go!”)  #不用转意符的Str=’C:\\PR\\casdasd\\cascassss\\ccccc’ #简便方式（添加“r”，原

1.Proxy 的设置urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用代理。新建test14来实现一个简单的代理Demo：import urllib2enable_proxy = Trueproxy_handler = urllib2.ProxyHandle

1.最基本的抓站import urllib2content = urllib2.urlopen('http://XXXX').read()-2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。import urllib2proxy_support = urllib2.ProxyHandler({'http':'htt

先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时，产生urlError。不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类，通常在特定HTTP URLs中产生。1.URLError通常，URLError在没有网络连接(没有路由到特定服务器)

Python+scrapy安装  win7 32位系统1、到https://www.python.org/downloads/release/python-279/下载Windows x86 MSI installer安装Python2.7.9（注意安装的试用版本，建议安装到默认位置）2、将C:\python27\Scripts;C:\python27;添加到环境变量path里

本教程主要内容包括一下四步：1. 创建一个新的Scrapy Project2. 定义你需要从网页中提取的元素Item3. 实现一个Spider类，通过接口完成爬取URL和提取Item的功能4. 实现一个Item PipeLine类，完成Item的存储功能新建工程首先，为我们的爬虫新建一个工程，首先进入一个目录（任意一个我们用来保存代码的目录），执行：

在本地搭建环境安装的时候却出现报错，Unable to find vcvarsall.bat 在网上找了很多资料，发现是window平台本身不带编译系统，而安装mysql-python需要进行编译。网上给出的办法是，安装vs2008或者MinGW，很是麻烦。后来总算找到另外一种超级简单的办法。原来国外一个大学-加州大学欧文分校的Christoph Gohlke提供了大量python非官方插