Python爬虫入门教程：超级简单的Python爬虫教程

最新推荐文章于 2025-02-23 07:13:08 发布

梦子mengy7762

最新推荐文章于 2025-02-23 07:13:08 发布

阅读量5.3k

点赞数 4

分类专栏：爬虫 python 数据分析文章标签： python 爬虫 html pycharm visualstudio

本文链接：https://blog.youkuaiyun.com/ITF_001/article/details/120206223

版权

这篇教程适合Python爬虫初学者，详细讲解了如何从零开始学习爬虫。内容包括理解网页结构，使用requests库抓取数据，Beautiful Soup解析网页，数据清洗和爬虫攻防。通过实例操作，30分钟即可上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是一篇详细介绍 [Python]爬虫入门的教程，从实战出发，适合初学者。读者只需在阅读过程紧跟文章思路，理清相应的实现代码，30 分钟即可学会编写简单的 Python 爬虫。

这篇 Python 爬虫教程主要讲解以下 5 部分内容：

了解网页；
使用 requests 库抓取网站数据；
使用 Beautiful Soup 解析网页；
清洗和组织数据；
爬虫攻防战；

了解网页

以中国旅游网首页为例，抓取中国旅游网首页首条信息（标题和链接），数据以明文的形式出面在源码中。在中国旅游网首页，按快捷键【Ctrl+U】打开源码页面，如图 1 所示。

图 1 中国旅游网首页源码

认识网页结构

网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JScript（活动脚本语言）。

HTML

HTML 是整个网页的结构，相当于整个网站的框架。带“＜”、“＞”符号的都是属于 HTML 的标签，并且标签都是成对出现的。最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以联系维：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~

常见的标签如下：

.. 表示标记中间的元素是网页 .. 表示用户可见的内容

表示框架

表示段落

..
表示列表 ..表示图片
..
表示标题 ..表示超链接
CSS

CSS 表示样式，图 1 中第 13 行＜style type=＂text/css＂＞表示下面引用一个 CSS，在 CSS 中定义了外观。

JScript

JScript 表示功能。交互的内容和各种特效都在 JScript 中，JScript 描述了网站中的各种功能。

如果用人体来比喻，HTML 是人的骨架，并且定义了人的嘴巴、眼睛、耳朵等要长在哪里。CSS 是人的外观细节，如嘴巴长什么样子，眼睛是双眼皮还是单眼皮，是大眼睛还是小眼睛，皮肤是黑色的还是白色的等。JScript 表示人的技能，例如跳舞、唱歌或者演奏乐器等。

写一个简单的 HTML

通过编写和修改 HTML，可以更好地理解 HTML。首先打开一个记事本，然后输入下面的内容：
Python 3 爬虫与数据清洗入门与实战

Python 3爬虫与数据清洗入门与实战
- 爬虫
- 数据清洗
输入代码后，保存记事本，然后修改文件名和后缀名为"HTML.html"；

运行该文件后的效果，如图 2 所示。

图 2

这段代码只是用到了 HTML，读者可以自行修改代码中的中文，然后观察其变化。

关于爬虫的合法性

几乎每一个网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断是否有禁止访客获取的数据。最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以联系维：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~

以淘宝网为例，在浏览器中访问，如图 3 所示。

图 3 淘宝网的robots.txt文件内容

淘宝网允许部分爬虫访问它的部分路径，而对于没有得到允许的用户，则全部禁止爬取，代码如下：

User-Agent:*
Disallow:/

这一句代码的意思是除前面指定的爬虫外，不允许其他爬虫爬取任何数据。

使用 requests 库请求网站

安装 requests 库

首先在 PyCharm 中安装 requests 库，为此打开 PyCharm，单击“File”（文件）菜单，选择“Setting for New Pr