本文内容如下:
Python 基础知识学习途径
Python开发环境的搭建
什么是爬虫?
爬虫的作用
豆瓣短评的数据爬取
适合人群:
零基础 Python 读者
具有 Python 基础读者
想学爬虫的学者
随着网络技术的发展,数据越来越变的值钱,诸多公司都在探究如何获取更多更有用的数据。万维网是大量信息的载体,如何有效提取这些有效且公开的数据并利用这些信息变成了一个巨大的挑战。
从而爬虫工程师、数据分析师、大数据工程师的岗位也越来越受欢迎。爬虫则是 Python 的一个应用领域,Python 还有诸多应用领域,如 Web 全栈开发、图形界面开发、大数据、人工智能、系统网络运维、云计算系统管理……
Python 基础知识学习途径
学习好 Python 基础对于学习 Python 爬虫具有事半功倍的效果。就像生活中的学英语一样,一个对英语一概不通的人听完别人读英语,自己也能读出来,但是要把英语读好,好好学习音标是非常有必要的。
然而 Python 的基础知识如果要系统学习,内容也较多,那么我们到底需要学习到什么程度,对于学习 Python 爬虫才是足够的呢?这里,我对学习爬虫需要掌握的 Python 基础知识进行了筛选,过滤掉了一些不必要的知识。为您提供了如下学习链接:
Python 开发环境的搭建
Python 目前流行版本两个 Python 2.x 与 Python 3.x,由于 Python 2 只会维护到2020年,因此这里建议使用 python 3 来作为我们的编程环境。
1.下载Python。
进入下载页面(https://www.python.org/downloads/release/python-362/)下载 Python3.6.2 版本即可。
提示:根据你的电脑选择,32位还是64位的安装包。
安装过程中只需要默认安装即可。安装完成后在 cmd 命令行输入 python,然后回车,如果成功进入 python 并返回 python 的版本信息,则证明 Python 环境安装成功(这里我将 Python.exe 改为了 Python3.exe)。如下图所示。
什么是爬虫?
网络爬虫(又被称为网页蜘蛛,网络机器人,在 FOAF 社区中间,更常被称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,从中获取大量的信息。
爬虫的作用主要有以下几点:
-
市场分析:电商分析、商圈分析、一二级市场分析等;
-
市场监控:电商、新闻、房源监控、票房预测、股票分析等;
-
商机发现:招投标情报发现、客户资料