爬取猫眼电影top100的代码

最新推荐文章于 2025-02-14 17:25:53 发布

black-hole6

最新推荐文章于 2025-02-14 17:25:53 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：有意思程序

本文链接：https://blog.youkuaiyun.com/lbperfect123/article/details/82941563

有意思程序专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一个使用Python和多线程技术抓取猫眼电影排行榜数据的爬虫项目，详细展示了如何利用requests和正则表达式解析网页，提取电影排名、名称、图片、演员、上映时间和评分等信息，并将数据存储到本地文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

废话不说，代码附上：

#encoding:utf-8
import requests

import re

import json

from multiprocessing import Pool #多线程模块

 

#获取网页源代码

def get_one_page(url):

    #添加头信息

    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'}

    html = requests.get(url,headers = headers)

    if html.status_code == 200:

        return html.text

    return None

 

#根据正则表达式提取信息

def parse_one_page(html):

    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?'

                         + 'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)

    data = pattern.findall(str(html))

    for item in data:

        yield{

            'top':item[0],

            'name':item[1],

            'image_src':item[2],

            'actor':item[3].strip()[3:],

            'releasetime':item[4].strip()[5:],

            'score':item[5] + item[6]

        }

#将提取得数据写人文件

def write_of_file(content):

    # 'a'保留原先的内容，在尾部写入，因为用的是for循环写入，如果用'w'写入只会保留最后一组的数据，或者早打开文件，写入完在关闭，encoding='utf-8'以utf-8编码

    with open('result.txt','a',encoding='utf-8') as f:

        #ensure_ascii = False使中文正常输出

        f.write(json.dumps(content,ensure_ascii = False) + '\n')

        f.close()

#主函数

def main(offset):

    #要爬取的网址

    url = "http://maoyan.com/board/4?offset=" + str(offset)

    html = get_one_page(url)

    for item in parse_one_page(html):

        print(item)

        write_of_file(item)

 

if __name__ == '__main__':

    #定义多线程

    pool = Pool()

    pool.map(main,[i*10 for i in range(10)])