Python爬虫实现猫眼电影搜索

最新推荐文章于 2024-12-04 16:23:46 发布

代码拖拉鸡

最新推荐文章于 2024-12-04 16:23:46 发布

阅读量989

点赞数

CC 4.0 BY-SA版权

分类专栏：网络爬虫 python

本文链接：https://blog.youkuaiyun.com/qq_38290604/article/details/90575061

本文详细介绍了如何利用Python进行网络爬虫，针对猫眼电影网站进行数据抓取，包括电影名称、评分、简介等关键信息，通过实例展示了Python的requests和BeautifulSoup库在爬虫项目中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import time
from bs4 import BeautifulSoup
import re

movie=[]
def search(url):
    try:
        headers={'user-agent':'Mozilla/5.0'}
        r=requests.get(url,headers=headers)
        return r.text
    except:
        search(url)

def parse_page(url,k):
    html=search(url)
    sum_tmp=[]
    pattern1=re.compile('class="channel-detail movie-item-title" title="(.*?)">',re.S)
    movie_name=re.findall(pattern1,html)
    pattern2=re.compile('class="movie-item-cat">(.*?)</div>')
    movie_lb=re.findall(pattern2,html)
    pattern3=re.compile('class="movie-item-pub">(.*?)</div>')
    movie_time=re.findall(pattern3,html)
    if len(movie_name)==0:
        print('爬取结束')
        print('共'+str(len(movie))+'部')
        exit()
    for i in range(len(movie_name)):
        movie_tmp = []
        if movie_time[i] == '':
            movie_time[i]='暂无'
        movie_tmp.append(movie_name[i])
        movie_tmp.append(mo