爬虫猫眼电影 TOP100

最新推荐文章于 2025-02-14 17:25:53 发布

原创最新推荐文章于 2025-02-14 17:25:53 发布 · 265 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一个使用Python编写的猫眼电影榜单爬虫程序，该程序通过urllib和BeautifulSoup库获取并解析网页数据，利用正则表达式提取电影排名、名称、演员、上映时间及评分等关键信息。

版本：py3

import urllib.request
import urllib.error
import re
from bs4 import BeautifulSoup

def get_one_page(url):
     try:
          response = urllib.request.urlopen(url)
          if response.code == 200:
               return response.read()
          return None
     except urllib.error.HTTPError:
          return None
def parse_page(html):
     parse = re.compile('<dd>.*?board-index.*?">(\d+xS)</i>.*?name"><a.*?>(.*?)</a>'
                        +'.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i><.*?>(.*?)</i></p>',re.S)
     item = re.findall(parse,html)
     for each in item:
          yield {
               'rank' :each[0],
               'title':each[1],
               'actor':each[2].strip()[3:],
               'time' :each[3].strip()[5:],
               'score':each[4]+each[5],
          }
def main():
     for i in range(10):
          url = 'https://maoyan.com/board/4?offset=' + str(i*10)
          html = get_one_page(url).decode('utf-8')
          for each in parse_page(html):
               print(each)
                
if __name__ == '__main__':
     main()