straka的博客

先各自安装两种版本/usr/bin/下会有python2.x 和python3.x及相关的软连接ln -s /usr/bin/pythonV.x /usr/bin/pythonY.x 就能使用Y版本的python如果yum出问题了，那么就将vi .usr/bin/yumvi/usr/libexec/urlgrabber-ext-downvi/usr/bin/yum-conf...

每天户外运动，想有个能自动查询天气的方式，然而单位地方比较偏，周边没有气象部门站点，最近的有天气预报的地方也是三十多公里外的城区了。那就DIY一个呗。某宝上找了找有各种模块，最近又学习了python，很快就有了思路。先做个硬件定时采集气象数据发送到服务端，服务端收到数据记录下以供查找中。结合微信的公众号接口，响应公众号查询请求。硬件部分参考另一篇博文【气象信息采集装置】http://ww...

初学python和爬虫，正好赶上要在帝都租房，于是打算自己抓下链家的租房数据试试。看到网上有人抓取链家的二手房买卖数据，参考了下，不过我抓租房数据的时候发现还比较简单，不需要模拟登陆，链家也没怎么反爬虫，因而一路还比较顺利。总体思路，虽然链家没有采用太多的反爬虫技术，但是基本的限制IP访问密度还是做了的，所以得动用代理，这么一来，抓取效率也必然降低，所以得采用多线程。实现的时候先实现代理的抓取...