python爬取猫眼电影TOP100信息

最新推荐文章于 2025-02-14 17:25:53 发布

原创

最新推荐文章于 2025-02-14 17:25:53 发布 · 1.9k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍使用Python的requests库爬取猫眼电影TOP100信息，包括电影名称、上映时间、评分等。通过分析分页规律获取所有URL，编写函数抓取页面、用正则表达式提取信息，将数据保存为TXT文件，最后整合代码并给出完整代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取猫眼TOP100信息

1.目标：

使用python的requests库爬取猫眼电影TOP100的电影名称，上映时间，评分等信息，爬取的网站
为"https://maoyan.com/board/4",结果保存为文件形式

2.思路分析

首先打开"https://maoyan.com/board/4"，可以看到结果如下图所示
在这里插入图片描述
可以看到，排名第一的电影是霸王别姬，并且可以看到主演，上映时间，评分等信息。
往下翻，我们可以观察到下面有分页的列表，并且每一页有10部电影的信息。让我们翻到下一页

可以看到，在浏览器地址栏发生了变化，URL最后offset参数从0变成了10，再翻到下一页会发现offset变成了20，由此我们发现规律：每翻一页offset加10。
这样一来我们就得到了所有需要爬取的网页的URL，因此我们只用编写爬取其中一个页面的代码，再对全部的URL使用就可以爬取到所有信息了。

3.页面抓取

编写getPageText(base_url, params)函数获取某一url的text，其中params为URL的参数（在本文中是offset）

import requests
def getPageText(base_url, params):
    headers = {
   
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3469.400',
    }
    r = requests.get(base_url, params = params, headers = headers)
    if r.status_code == 200:
        return r.text
    else:
        return None

4.信息提取

在浏览器中点击右键->检查，或者使用F12进入控制台查看源代码。
在这里插入图片描述
找到目标部分后，观察其结构，然后用正则表达式提取信息。因为爬取下来的HTML文本大多带有大量空白字符（不可见字符），因此我们先使用sub方法将文本中的空白字符替换为空字符串（即删除空格符）

import re
def fromTextGetData(text):
    text = re.sub('[\s\n]+','', text)
    pattern = re.compile(r'<pclass="name"><a[^>]*?>(.*?)</a></p><pclass="star">(.*?)</p>.*?<pclass="releasetime">(.*?)</p>', re.S)
    score_pattern = re.compile(r'<iclass="integer">(.*?)</i><iclass="fraction">(.*?)</i></p>', re.S)		#提取评分
    temp_result = pattern.f