使用xpath爬取猫眼电影榜单

老虎傻傻

于 2023-03-06 18:06:32 发布

阅读量838

点赞数

分类专栏： python学习文章标签： python 爬虫学习

本文链接：https://blog.youkuaiyun.com/tangjin365/article/details/129367531

版权

本文介绍了如何分析网页结构，使用xpath在Python中爬取猫眼电影榜单的数据。详细步骤包括定位电影信息的div标签，遍历获取封面、名称、类别等详情，并将数据整理成字典存储到txt文件。通过封装程序，可以实现对不同分页的电影信息进行批量爬取。文章强调了xpath在爬虫中的高效性和实用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步，分析网页结构，查看网页源代码，找到我们需要的信息所在位置。

经过分析，电影信息全都集中在class=“el-card item m-t is-hover-shadow”的div标签里。

divs = et.xpath('//div[@class="el-card item m-t is-hover-shadow"]')

然后，遍历每个标签，找到每个标签里面的电影信息，包括封面、名字、类别等等

    for div in divs:
        cover = div.xpath('./div/div/div/a/img/@src')
        name = div.xpath('./div/div/div/a/h2/text()')
        category = div.xpath('./div/div/div/div/button/span/text()')
        country = div.xpath('./div/div/div/div/span/text()')
        time = div.xpath('./div/div/div/div/span/text()')
        number = div.xpath('./div/div/div/p/text()')
        info = {
            'cover':cover[0],
            'name':name[0],
            'category':'-'.join(category),