ssive_的博客

原创 爬虫学习笔记

爬虫学习笔记 爬虫的基本原理,分为4个步骤。 爬虫概述 简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。 1.1 爬取网页 爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码包含了网页的部分有用信息，所以只要把源代码获取下载，就可以从中提取想要的信息。可以使用urllib、requests来爬取页面。 例：爬取东方财富网 东方财富网的行情中心页面包含了所有股票信息。在左侧的菜单栏中包含了沪深个股、沪深指数等所有股票数据。每个板块的股票数据被隐藏在不同的菜单里。 点击