u013332124的专栏

最近在研究kafka，看了一堆理论的东西，想动手实践一些东西，奈何手上的数据比较少，突发奇想就打算写个爬虫去抓一些数据来玩，顺便把深入一下爬虫技术。之前写过一些小爬虫，一般就是用python的requests+lxml来爬取数据。这次打算学一下python的scrapy框架来爬取数据。解析网页内容还是打算用lxml，lxml使用了xpath语法，由于太久没用都忘光了。所以打算重新学习一下xpa...

最近学习scrapy，就拿虎扑练了下手，主要爬取虎扑步行街的帖子以及回帖的一些数据。scrapy的教程可以看一下我写的上一篇博客: python爬虫框架——Scrapy架构原理介绍 解析网页的时候还需要对xpath有所了解，也可以看一下我的这篇博客： xPath 用法总结整理一、爬虫功能目前主要就实现3个功能： 1. 爬取步行街主干道的帖子 2. 爬取对应帖子的回帖信息 ...

centos6 里面自带的python版本是2.7的，但是目前的趋势是python3，自己写python脚本的时候也是基于python3，因此，在centos上面装2个版本的python是很有必要的。python3 安装的教程网上也很多，这边也只是做个总结。记得不要把python2给卸载了，因为linux上很多服务都是基于python2的。删了python2可能导致服务出现问题下载安装...

说起写爬虫，大多数第一时间想到的就是python了。python语法简洁明了，加上及其丰富好用的库，用它来写爬虫有天然的优势。之前学python的时候也用requests+lxml写过几个爬虫玩，但是都就爬取一些内容就没继续下去了，都没做成一个项目，中间python也荒废了好久。最近要学kafka，就打算爬点数据来实践实践。于是就学起scrapy来，总的来说，scrapy还是很容易上手的，也比...

文章目录一、pyenv二、pipenv三、virtualenv四、线上部署参考资料在写python程序时，经常会被版本管理以及第三方包管理搞的很头疼。这两天看了业内相关的解决方案，觉的很不错。一、pyenv我们经常在开发时会需要用到多个python版本，为了解决版本问题，比较常见的做法是修改环境变量来切换版本，但是修改环境变量终究比较麻烦。另外，我们在安装新的python版本时也会小心翼翼，...