DianaCody's Blog

python 3.x 与python 2.x语法细节差异比较Python 2.x 和python 3.x语法区别1.性能 Py3.0运行 pystone benchmark的速度比Py2.5慢30%。Guido认为Py3.0有极大的优化空间，在字符串和整形操作上可 以取得很好的优化结果。 Py3.1性能比Py2.5慢15%，还有很大的提升空间。 2.编码 Py3.X

对于urllib2的学习，这里先推荐一个教程《IronPython In Action》，上面有很多简明例子，并且也有很详尽的原理解释：http://www.voidspace.org.uk/python/articles/urllib2.shtml        最基本的爬虫，主要就是两个函数的使用urllib2.urlopen()和re.compile()。一、网页抓取简单例子 

一、关于抓包分析和debug Log信息        模拟登录访问需要设置request header信息，，而python抓包可以直接使用urllib2把debug Log打开，数据包的内容可以打印出来，这样都可以不用抓包了，直接可以看到request header里的内容。

最近做的新浪微博爬虫程序，打算打包成.exe软件以方便使用，网上找到一个很好的打包工具pyinstaller，这里记录一下打包的方法。一、下载pyinstaller我使用的版本为PyInstaller-2.1，支持python版本2.3-2.7，点击这里下载。二、安装pyinstaller下载完成后，解压即可。我的解压目录为D:\Python27\PyInstaller-2

scrapy框架的学习，目前个人觉得比较详尽的资料主要有两个：1.官方教程文档、scrapy的github wiki；2.一个很好的scrapy中文文档：http://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html；        剩下的就是网上其他的一些demo。 一、scrapy框架结构        还是先上个图吧，这

在上一篇文章的末尾，我们创建了一个scrapy框架的爬虫项目test，现在来运行下一个简单的爬虫，看看scrapy爬取的过程是怎样的。一、爬虫类编写（spider.py）vdsv

python爬虫的实现方式：1.简单点的urllib2+regex，足够了，可以实现最基本的网页下载功能。实现思路就是前面java版爬虫差不多，把网页拉回来，再正则regex解析信息……总结起来，两个函数：urllibw.urlopen()和re.compile()。其实对于正则解析html网页，python同样有和jsoup类似的工具包——BeautifulSoup，用好了同样比正则省事多了

一、MySQLdb包的安装1. 在win环境下，下载MySQL-python-1.2.3，有两种方式：(1) 下载src源码.tar.gz（这个源码需要build编译再安装.egg包(当于.jar包)）；不过这种方法之后需要修改环境变量和MySQLdb.conf文件夹里的配置文件等等，具体网上去搜对应版本，我用的第二种方法，在python命令行里直接import MySQLdb;没有出

python常用框架及第三方库

曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图谱也是选择了Python系的Flask框架，渐渐的将自己的绝大部分工作交给了Python。这些年来，接触和使用了很多Python工具包，特别是在文本处理，科学计算，机器学习和数据挖掘领域，有很多很多优秀的Py