本文档为网络爬虫课程的学习笔记,介绍了使用Requests自动爬取HTML页面的方法,讲解了网络爬虫排除标准robots.txt,并深入探讨了如何利用BeautifulSoup解析HTML页面、使用正则表达式提取关键信息,最后概述了Scrapy网络爬虫框架的基本原理。
以下是‘’网络爬虫‘’课程（中国MOOC）学习笔记
【万能的b站】
核心思想：
The Website is the API
课程大纲：
一、Requests与robots.txt
1.Requeests 自动爬取HTML页面，自动网络请求提交
2.robots.txt
网络爬虫排除标准
二、BeautifulSoup解析HTML页面
三、Re正则表达式详解，提前页面关键信息
四、Scrapy网络爬虫原理介绍，专业爬虫框架介绍
转载于:https://www.cnblogs.com/guzidi/p/7599736.html
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
