大星星的专栏

下载并安装Python，例如这里想把命令E:\easytest作为提供下载的目录，那么在cmd里cd到该目录下，并执行命令：python.exe  -m SimpleHTTPServer 如果提示错误：No module named SimpleHTTPServer则试一下命令：python.exe  -m http.server以下是命令执行记

# coding: utf-8import sysimport osimport timereload(sys)sys.setdefaultencoding("GBK")# shutdown computer after time_diff secondsdef shutdown(seconds): print str(seconds) + u' 秒后将会关机...'

http://www.lfd.uci.edu/~gohlke/pythonlibs/找到相应的库，解压后把bs4目录复制到Python安装目录下的lib目录下。参考：http://cuiqingcai.com/1319.html#coding:utf-8from bs4 import BeautifulSouphtml = ...soup = BeautifulSoup

下载：https://pypi.python.org/pypi/selenium#downloads浏览器驱动：https://sites.google.com/a/chromium.org/chromedriver/downloadshttp://chromedriver.storage.googleapis.com/index.html?path=2.21/

selenium用以制作自动化测试工具还是非常不错的，这里演示一个打开谷歌浏览器并输入一个关键词，最后提交搜索的示例脚本。安装selenium见《Python库selenium的安装与使用》。# coding:utf-8import starfrom selenium import webdriverfrom selenium.webdriver.c

仅作练习：1、Python网页抓取2、Python正则表达式应用直接上代码：# coding: utf-8import sysimport urllibimport urllib2import reimport requests# reload(sys)# sys.setdefaultencoding("utf-8")# 基金代码fundIds = ['000051

#coding:utf-8import starfrom bs4 import BeautifulSoupimport win32clipboard, win32condef getJuzi(urlroot): nexturl = urlroot ipage = 0 result = '' while True: ipage = ipag

在安卓审计项目里，我们使用python脚本来对APK进行扫描检测，为了统计每一步操作的耗时情况编写了一个简单的类，并通过下面的方式使用：#coding:utf-8import timeclass TimeRecorder: def __init__(self, name): print(name + u"开始") self.name = name

源码：#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2016-03-29 10:59:36# Project: taonvlangfrom pyspider.libs.base_handler import *DIR_PATH = 'E:/taonvlang'class Handler(BaseHandl

单步运行运行该任务，第一步爬取多页：每个页面里面抓取10个淘女郎主页链接：对每个淘女郎主页详情页面爬取图片链接：图片全部下载在E:\taonvlang\目录下按淘女郎名称创建文件夹保存。

最近在学习Python，练习用Python抓取网页内容并解析，在解析gb2312字符集网页时出现中文乱码：UnicodeEncodeError: 'gbk' codec can't encode character u'\xbb' in position 0: illegal multibyte sequence网上找了一大推，长篇大论啰嗦了半天都不知道在讲什么，原来Pyt

1、安装pip install pyspiderWindows下安装需要注意的问题：http://docs.pyspider.org/en/latest/Frequently-Asked-Questions/2、启动pyspider all3、后台配置http://localhost:5000/点击cr

首先pyspider all启动pyspider的所有服务，然后访问http://localhost:5000创建一个爬虫任务：taonvlang，点开任务链接编辑http://localhost:5000/debug/taonvlang，默认模板：右侧为代码编辑区，可以在crawl_config里做一些配置，具体可以参考官网API文档：http://docs.pyspider.org/e

[E 160329 11:32:22 base_handler:194] HTTP 599: SSL certificate problem: self signed certificate in certificate chain Traceback (most recent call last): File "D:\Python27\lib\site-packages

框架本身的好处：步骤划分清晰，每步只要把每步的代码写好、调试好，能降低爬虫任务的复杂度和繁琐度。可以有效利用中间结果分别调试其中的任何一个步骤，不用回溯整条任务链。框架不足之处：1、证书问题2、登录问题爬的多的时候如何对抗反爬虫机制，例如淘女郎爬虫任务，爬多了会提示重新登录，明明谷歌浏览器已经登录状态，但是爬虫任务却不能直接使用浏览器的缓存数据，差评。

规范脚本文件编码 由于需要经常性使用到中文字符，因此Python脚本新建后，请在头部添加代码：# coding: utf-8或者为pycharm设置代码模版，这样每次新建Python文件时会自动带上以上代码。如果不添加，即使字符串以u开头，也是编译不通过的。UNICODE脚本中的字符最好使用UNICODE编码（英文可以不需要，但是中文尽量使用），因为UNICODE编码是比较好的“中间”字符集