qq_18239343的博客

通过requests+beautifulsoup4+lxml实现python爬虫简单样例

需要先安装lxml，然后再安装beautifulsoup4，一次性成功，很稳1、pip install lxml2、pip install beautifulsoup4

1、环境安装：使用cmd安装hdfs环境，pip installhdfs2、访问hdfs：from hdfs.client import ClientHDFSHOST = "http://192.168.56.101:9870"client = Client(HDFSHOST)# 返回目录下的文件#print(client.list('/wm/'))# 创建目录#client.makedirs('/tmp')#print(client.list('/'))# 删除hdfs文件.

安装前准备：1.安装Development Toolsyum groupinstall -y 'development tools'2安装SSL、bz2、zlib来为Python的安装做好准备工作yum install -y zlib-devel bzip2-devel openssl-devel xz-libs wget安装：1.查看当前系统的Python Version[root@jmilk ~]# python --versionPython 2.6.62.