xpath爬取猫眼电影

最新推荐文章于 2021-09-06 16:08:30 发布

Ai_践行者

最新推荐文章于 2021-09-06 16:08:30 发布

阅读量975

点赞数

分类专栏：人工智能文章标签： xpath 猫眼

本文链接：https://blog.youkuaiyun.com/qq_41424519/article/details/85940638

版权

本文详细介绍了如何利用XPath语法从猫眼电影网站上抓取电影信息，包括电影名称、评分和简介，通过实例解析了XPath的选取元素方法，为网页数据爬取提供了实用技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from fake_useragent import UserAgent
from lxml import etree

headers={
    'User-Agent':UserAgent().random
}

def get_MovieUrl(index_url):

    response=requests.get(index_url,headers=headers)
    e=etree.HTML(response.text)
    movie_hrefs=e.xpath('//div[@class="movie-item"]/a/@href')
    #把每一部电影的链接地址都放到list中
    movie_urls=[]
    for num in range(len(movie_hrefs)):
        movie_urls.append('https://maoyan.com{}'.format(movie_hrefs[num]))

        #print( movie_urls)
    return movie_urls
def get_MovieInfo(movie_url):
    response = requests.get(movie_url, headers=headers)
    e = etree.HTML(response.text)
    name = e.xpath('//h3[@class="name"]/text()')[0]
    type=e.xpath('//li[@class="ellipsis"]/text()')[0]
    #celebrity属性后面有空格，不能忽略
    director=e.xpath('normalize-space(//div[@class=&#