利用python爬取猫眼电影榜单TOP100

最新推荐文章于 2023-06-07 15:14:25 发布

某科学的一文

最新推荐文章于 2023-06-07 15:14:25 发布

阅读量889

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫正则表达式

本文链接：https://blog.youkuaiyun.com/sinat_40701859/article/details/86740528

使用Python爬虫成功抓取了猫眼电影排行榜前100部影片的详细信息，包括电影名称、主演、上映时间和评分。其中包括《霸王别姬》、《肖申克的救赎》、《罗马假日》等经典作品，展示了爬虫在数据获取方面的高效能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下

import re
import requests
import json
#from multiprocessing import Pool
#   多进程

#url = 'https://maoyan.com/board/4?offset=0'
#r = requests.get(url)
#r.encoding = r.apparent_encoding
#print(r.status_code)
#print(r.request.headers)

#   获取单页
def get_one_page(url):
    try:
        kv = {
   
   'user-agent':'Mozilla/5.0'}
        r = requests.get(url,headers=kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("爬取失败")

#   提取需要的信息
def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
   
   
            'index':item[0],
            'title':item[1],