<think>好的，我现在需要帮助用户解决如何用
Python爬取猫眼
Top100榜单数据的问题。首先，我需要回顾用户提供的引用内容，确保回答符合他们的需求。用户之
前提到了
使用requests、re和openpyxl库，以及
保存到excel和csv的方法，但现在的需求是获取方法或代码。首先，我得确定猫眼
Top100的页面结构。猫眼可能有反爬措施，比如验证头或者动态加载
数据。用户提到
使用requests库，所以可能需要处理请求头和参数。同时，
数据可能是动态加载的，但根据引用中的
信息，用户之
前的例子用了正则表达式，说明
数据可能是静态HTML中的，不需要处理JavaScript渲染。
接下来，我需要考虑如何构造URL。猫眼
Top100通常分页，每页
10条，共
10页。因此，需要循环生成
10个URL，可能的形式是https://maoyan.com/board/4?offset=0，然后offset=
10，依此类推。但需要验证这一点是否正确，或者是否有变化。
然后，解析HTML内容。用户之
前使用re库，即正则表达式，可能因为页面结构简单，或者他们习惯用正则。但也可以考虑
使用BeautifulSoup，不过用户示例中用了re，所以保持一致性可能更好。但需要确认正则表达式是否能正确提取
数据。
数据存储方面，用户提到excel和csv，所以需要生成这两种格式的代码。可能需要
使用openpyxl和csv模块。需要展示如何将
数据写入这两种文件。
反爬机制方面，猫眼可能需要User-Agent和Cookie等请求头
信息，否则可能返回403。所以在代码中需要添加headers，并提示用户替换自己的Cookie。
最后，代码的步骤需要分块解释：请求
数据、解析
数据、
保存数据。同时，要提醒用户注意爬虫的伦理和法律问题，控制请求频率。现在，我需要检查是否有遗漏的部分。比如，分页处理是否正确，正则表达式是否能准确匹配
电影名称、主演、上映时间等
信息。例如，
电影名称可能在<divclass="movie-item-info">中的<pclass="name">标签内，主演在<pclass="star">，上映时间在<p class="releasetime">。正则表达式需要匹配这些内容，并处理可能的空格或换行符。
测试代码是否能够正常运行，可能需要处理异常情况，比如网络错误或页面结构变化。但用户可能只需要基本的方法，所以代码示例可以简化，但需要注明注意事项。
总结步骤：构造分页URL，发送请求，解析响应，提取
数据，存储
数据。每一步用代码实现，并解释关键点。同时，提供两种存储方式的示例，excel和csv，供用户选择。现在，将这些思考整理成结构化的回答，确保代码正确，并符合用户的要求，比如
使用中文，正确的LaTeX格式（虽然问题中没有数学内容，但需注意如果有变量的话），以及生成相关问题。</think>以下是通过
Python爬取猫眼
Top100榜单数据的完整方案：
### 一、技术实现步骤
1. **网页分析**
猫眼
Top100榜单采用分页加载机制，URL格式为：
`https://www.maoyan.com/board/4?offset={页码}`
每页展示
10条
数据，共需
爬取10页（偏移量设置为0-90的等差数列）
2. **
数据存储结构**
需要获取的字段包括：
-
电影名称
- 主演名单
- 上映时间
- 评分
- 排名
3. **反爬机制处理**
需添加请求头
信息，包含`User-Agent`和`Cookie`字段[^2]
### 二、完整代码实现
```
python
import requests
import re
import csv
from openpyxl import Workbook
def get_data():
headers = {
"User-Agent": "Mozilla/5.0 (
Windows NT
10.0; Win64; x64) AppleWebKit/537.36",
"Cookie": "替换为实际Cookie值"
}
all_data = []
for offset in range(0,
100,
10):
url = f"https://www.maoyan.com/board/4?offset={offset}"
response = requests.get(url, headers=headers)
html = response.text
# 正则表达式解析
数据
pattern = re.compile(
r'<p class="name">.*?>(.*?)</a>.*?'
r'<p class="star">(.*?)</p>.*?'
r'<p class="releasetime">(.*?)</p>.*?'
r'<i class="integer">(.*?)</i>.*?'
r'<i class="fraction">(.*?)</i>',
re.S
)
items = re.findall(pattern, html)
for index, item in enumerate(items, start=offset+1):
movie_data = {
"排名": index,
"名称": item[0].strip(),
"主演": item[1].strip()[3:], # 去除"主演："
前缀
"上映时间": item[2].strip()[5:], # 去除"上映时间："
"评分": item[3].strip() + item[4].strip()
}
all_data.append(movie_data)
return all_data
#
保存到CSV
def save_csv(data):
with open("maoyan_
top100.csv", "w", newline="", encoding="utf-8-sig") as f:
writer = csv.DictWriter(f, fieldnames=["排名","名称","主演","上映时间","评分"])
writer.writeheader()
writer.writerows(data)
#
保存到Excel
def save_excel(data):
wb = Workbook()
ws = wb.active
ws.append(["排名","名称","主演","上映时间","评分"])
for item in data:
ws.append([item["排名"], item["名称"], item["主演"], item["上映时间"], item["评分"]])
wb.save("maoyan_
top100.xlsx")
if __name__ == "__main__":
movie_data = get_data()
save_csv(movie_data)
save_excel(movie_data)
```
### 三、关键注意事项
1. **Cookie获取**
需通过浏览器
开发者工具(F12)获取当
前有效Cookie，替换代码中的占位符
2. **请求频率控制**
建议添加`time.sleep(3)`避免触发反爬机制
3. **正则表达式更新**
若网站改版需调整匹配规则，推荐
使用`BeautifulSoup`解析更稳定[^1]
4. **
数据存储优化**
- CSV格式适合快速查看
- Excel文件支持格式美化
- 可扩展
数据库存储（MySQL/MongoDB）
本文介绍如何使用Python编程语言和requests、BeautifulSoup库爬取并保存IMDb Top 100电影榜单的数据。通过发送HTTP请求，解析HTML，提取电影名称和评分，最后将信息写入本地文本文件。
订阅专栏 解锁全文
扫一扫
2913
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
