1、使用python写爬虫数据,肯定首先安装python,然后配置python环境变量,cmd之后输入python,便可以看到python的信息
2、在安装好python之后,因为我在爬数据的时候需要用到requests 和 BeautifulSoup这两个包,所以需要安装如下:
pip install requests
输入命令之后发现无法识别pip命令,
起初是以为没有安装pip工具,后面了解到python3.0+之后都默认集成在里面了(我的是3.7多),进一步查找原因,最后发现是pip没有配置环境变量,将其配置进去即可(找到python安装目录,找到里面的Scripts目录,复制目录路径,打开环境变量的系统环境配置:“path”,复制进去保存即可)
配置cmd ,然后pip install requests 就可以安装包了
3、在使用BeautifulSoup 的 BeautifulSoup(‘ ’,‘lxml’)方法报错说没有发现lxml方法,发现没有lxml包,然后去安装
pip install lxml 发现在win7系统下面安装不来 ,然后打开pyCharm工具(python编辑器) ,去工具里面下载也无法现在下来,报了一长串的错误,如:ERROR: b"'xslt-config' \xb2\xbb\xca\xc7\xc4\xda\xb2\xbf\xbb\xf2\xcd\xe2\xb2\xbf\xc3\xfc\xc1\xee\xa3\xac\xd2\xb2\xb2\xbb\xca\xc7\xbf\xc9\xd4\xcb\xd0\xd0\xb5\xc4\xb3\xcc\xd0\xf2\r\n\xbb\xf2\xc5\xfa\xb4\xa6\xc0\xed\xce\xc4\xbc\xfe\xa1\xa3\r\n"
而后在网上找到解决办法如下:
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 去该地址 下载自己对应的lxml 包,然后打开命令窗口 ,安装wheel。如: pip install whell,安装好之后,再输入命令 install 路径\****.whl (记得下载和自己python对应的whl文件,不然会报错误whl is not a supported wheel on this platform) ,安装好即可
暂时只遇到这些问题,后面有的话继续再添加