python3网络爬虫——环境配置
学习指引:视频教程《python3网络爬虫实战》
为了避免学习后短时间内遗忘,让自己随时可以查阅前方自己学过的知识,特意注册csdn博客,方便自己学习时做笔记,也方便随时回顾。也希望自己的学习过程能给同样初学python爬虫的你带来一点指引!由于自己是新手,只有一点点的python基础,所以笔记中难免会有很多纰漏,还望各路大神多多包涵,多多指教,如有不正确的地方,欢迎指出。
目前找到的非常棒的学习python的网站:
廖雪峰的官方网站:https://www.liaoxuefeng.com/
配置:
- VMware虚拟机
操作系统:Windows 8.1 x64
内存:4GB
处理器:Intel I7-4720HQ
第一步:安装python
我尝试学习的python版本是python 3.6.1
官方下载链接:https://www.python.org/downloads/
在网站中选择适合自己操作系统的python程序下载安装便可,具体教程可以参考:廖雪峰的官方网站——安装Python
安装完毕后,我们打开命令行:开始——运行——cmd,在命令行中输入python,回车后会显示python版本和进入python命令行环境。
配置环境变量的方法(有时候在cmd中输入python没反应,是因为python没有添加到默认的环境变量中去,所以我们要添加环境变量。不过如果没有添加python进入环境变量里的话,我们可以使用命令行直接打开python.exe所在的目录,再输入python便可正常打开):右键我的电脑——系统——高级系统设置——高级——环境变量,在环境变量的path属性中,将python.exe所在的目录复制过去,用;隔开,便可以成功添加环境路径!
可以通过where python命令查找python的路径
为了能随意打开python2.x和python3.x,可以将python.exe改成想改的名字以示区分。
安装Anaconda
官方下载链接:https://www.anaconda.com/download/
下载安装过程可以参考:http://blog.youkuaiyun.com/dq_dm/article/details/47065323
不过我下载的是Python3.6 version的
Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理,并且已经包含了Python和相关的配套工具
下载安装完成后,我们打开命令行,输入conda,回车后会看到与conda相关的操作指令:
输入conda list,回车后我们可以看到安装anaconda时它帮我们安装的库及环境
自此,在我们在命令行中输入python,会看到如下字符:
我们来尝试一下安装requests库(一个爬虫需要用到的库),现在我们用命令行有两种安装方式:①>>pip install requests ②>>conda install requests
我在之前已经安装过requests库,这里用conda命令尝试再次安装时,它会问我是否升级,选择y便会自动升级,这里可以看出,python库的安装还是比较方便的。
MongoDB
官方下载链接: