python爬虫基础（2：数据提取之BeautifulSoup）

最新推荐文章于 2021-05-05 11:52:58 发布

原创

最新推荐文章于 2021-05-05 11:52:58 发布 · 1.5k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍了Python爬虫中BeautifulSoup库的基础使用，包括获取网页源码、定位数据位置、提取所需信息及数据保存。通过实例演示了如何从豆瓣电影Top250页面抓取电影信息，并用get_text()方法处理内嵌标签。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据提取工具有很多，这里只介绍BeautifulSoup的简单使用和小案例

因为有写的很好的介绍博客，所以我直接粘链接

BeautifulSoup介绍链接：https://cuiqingcai.com/1319.html

案例依旧选用没有反爬的 豆瓣电影Top250

第一步：获取源码

简单的三句话

# 导入requests模块
import requests
# 导入BeautifulSoup模块
from bs4 import BeautifulSoup


# 获取要爬取的网页的url
url = 'https://movie.douban.com/top250'
# 用get()方法请求下载网页
rsp = requests.get(url)
# text属性返回网页源码的内容
text = rsp.text