Coffee的博客

用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 import urllib2 url  "http://www.baidu.com" respons = urllib...

遥想当年，我的第一份实习工作，还就是做的爬虫呢。不知不觉 7 年过去了，如今首例利用爬虫技术非法盗抓数据案都已经被判违法了。 我记得我第一份实习工作，就是做的爬虫，利用爬虫技术，去爬取各种论坛和网站，然后要做到记录到每个论坛帖子的发帖时间，在论坛的板块，页数，发帖时间，发帖 ID ，然后存储起来，可以做到搜索关键字快速定位到哪个论坛的那一页，哪个帖子。而且这个爬虫技术基本上要做到可以适配几乎所有...