Python爬取猫眼电影top100榜

最新推荐文章于 2025-02-14 17:25:53 发布

原创最新推荐文章于 2025-02-14 17:25:53 发布 · 933 阅读

0 ·

CC 4.0 BY-SA版权

Python 专栏收录该内容

18 篇文章

订阅专栏

该博客讲述了使用Python爬取猫眼电影排名前100的电影详情，包括电影名称、主演及上映时间，并尝试将爬取的数据存储到MySQL数据库中，同时下载电影封面图片到本地目录。然而，部分功能如封面图片保存和数据库存档未完全实现。

1. 爬取TOP100所有电影的信息,(电影名, 主演，上映时间)
2. 爬取该电影的宣传封面的图片, 保存到本地/mnt/img/目录中;

3. 将获取的信息, 保存到mysql数据库中(电影名, 主演，上映时间, 封面图片的本地路径)

（部分功能没有实现）

import re

import json
from multiprocessing.pool import Pool
from requests.exceptions import RequestException
import urllib.request
def get_page(url):
 try:
 req = urllib.request.Request(url)
 headers = {'User-agent': 'FireFox/12.0'}
 response = urllib.request.urlopen(req)
 html = response.read().decode('utf-8')
 if html != None:
 return html
 return None
 except RequestException:
 return None
def parse_page(html):
 pattern = re.compile('<dd>.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name"><a'
 + '.*?">(.*?)</a>.*?star">(.*?).*?releasetime">(.*?)'
 + '.*?integer">(.*?).*?fraction">(.*?).*?</dd>', re.S)
 items = re.findall(pattern, html)
 for item in items:
 yield {
 'index': item[0],
 'image': item[1],
 'title': item[2],
 'actor': item[3].strip()[3:],
 'time' : item[4].strip()[5:],
 'score': item[5] + item[6]
 }
def write_to_file(content):
 with open('Movies.txt', 'a', encoding='utf-8') as f:
 f.write(json.dumps(content, ensure_ascii=False) + '\n')
 f.close()
def main(num):
 url = 'http://maoyan.com/board/4?offset=' + str(num)
 html = get_page(url)
 for item in parse_page(html):
 print(item)
 write_to_file(item)
if __name__ == '__main__':
 pool = Pool()

pool.map(main, [i * 10 for i in range(10)])