爬取电影天堂最新电影（xpath结合lxml）

最新推荐文章于 2024-09-08 09:35:21 发布
最新推荐文章于 2024-09-08 09:35:21 发布
阅读量5.4k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python爬虫 文章标签： 爬虫 电影天堂 excel xpath lxml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/L835311324/article/details/86551131
本文介绍了一个爬虫项目的实现过程，目标是从电影天堂网站抓取最新电影的详细信息，包括电影标题、类型、语言、时长、导演等，并将数据保存到Excel文件中。使用了requests库进行网页请求，lxml库解析HTML，openpyxl库操作Excel。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

完整代码

import requests
from lxml import etree
from openpyxl  import Workbook

BASEURL='https://www.dytt8.net'
HEADERS = {
    'Referer': 'https://www.dytt8.net/css/index.css',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}

#获取影片的详情页url
def get_detail_urls(url):
    global  HEADERS
    global  BASEURL
    r = requests.get(url,headers=HEADERS)
    html = etree.HTML(r.text)
    hrefs=html.xpath('//table[@class="tbspan"]//a/@href')
    detail_urls = []
    for href in hrefs:
        detail_urls.append(BASEURL+href)

    return detail_urls



#进入详情页获取详细信息
def  spider(detail_url):

    r = requests.get(detail_url, headers=HEADERS)
    r.encoding='gbk'
    html = etree.HTML(r.text)

    global dura,scenarist,actor,category,language,director
    #获取标题
    title = str(html.xpath('//h1//font[@color="#07519a"]/text()')[0])

    #获取海报,有一些网页会没有相关信息，需要捕获这种异常
    try:
        img = str(html.xpath("//p//img/@src")[0])
    except IndexError:
        return
    #获取详情
    intros =  html.xpath('//div[@id="Zoom"]//br')
    for intro in intros:
        intro=etree.tostring(intro, encoding='utf-8').decode('utf-8')
        #获取影片类别
        if intro.startswith('<br />◎类　　别'):
            category = intro.replace('<br />◎类　　别', '').strip()
        #获取影片语言
        elif intro.startswith('<br />◎语　　言'):
            language = intro.replace('<br />◎语　　言', '').strip()
        #获取影片片长
        elif intro.startswith('<br />◎片　　长'):
            dura = intro.replace('<br />◎片　　长', '').strip()
        #获取影片导演
        elif intro.startswith('<br />◎导　　演'):
            director = intro.replace('<br />◎导　　演', '').strip()
        # 获取影片编剧
        elif intro.startswith('<br />◎编　　剧'):
            scenarist = intro.replace('<br />◎编　　剧', '').strip()
        # 获取影片主演
        elif intro.startswith('<br />◎主　　演'):
            actor = intro.replace('<br />◎主　　演', '').strip()

    #构建字典存放每部电影的信息
    info = {
        'title':title,
        'category':category,
        'language':language,
        'duration':dura,
        'director':director,
        'scenarist':scenarist,
        'actor':actor,
        'img': img,
    }

    return info

#将信息写入excel中
def save_excel(infos):
    wb = Workbook()
    dest_filename = '电影天堂最新电影.xlsx'
    ws1 = wb.active
    ws1.title = "电影"

    #打印表头
    _ = ws1.cell(column=1, row=1, value="{0}".format('标题'))
    _ = ws1.cell(column=2, row=1, value="{0}".format('类型'))
    _ = ws1.cell(column=3, row=1, value="{0}".format('语言'))
    _ = ws1.cell(column=4, row=1, value="{0}".format('时长'))
    _ = ws1.cell(column=5, row=1, value="{0}".format('导演'))
    _ = ws1.cell(column=6, row=1, value="{0}".format('编剧'))
    _ = ws1.cell(column=7, row=1, value="{0}".format('主演'))
    _ = ws1.cell(column=8, row=1, value="{0}".format('图片url'))

    row = 2
    for info in infos:
        clo=1
        for key,value in info.items():
            _ = ws1.cell(column=clo, row=row, value="{0}".format(value))
            clo += 1
        row += 1

    wb.save(filename=dest_filename)


def main():
    urls='https://www.dytt8.net/html/gndy/dyzz/list_23_{}.html'

    #存放所有影片信息字典的列表
    infos=[]
    #遍历1-5页
    for page in range(1,6):
        print('正在爬取第{}页：'.format(page))

        # 获取详情页
        url=urls.format(page)
        detail_urls=get_detail_urls(url)

        #进入详情页获取影片的详细信息
        for detail_url in detail_urls:
            info = spider(detail_url)
            infos.append(info)
            print(info)

    #写入excel
    save_excel(infos)


if __name__ == '__main__':
    main()

分析

爬取电影天堂最新电影的数据，先看一下页面
在这里插入图片描述
在这个页面标题名，信息不多，需要点击进入详情页才能获取详细信息
在这里插入图片描述

还有一点就是我们要获取的是多个页，而不只是一页上的所有电影
在这里插入图片描述
然后我们进行抓包发现

#第一页url
http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html
#第二页的url
http://www.ygdy8.net/html/gndy/dyzz/list_23_2.html
#第三页的url
http://www.ygdy8.net/html/gndy/dyzz/list_23_3.html
#第四页的url
http://www.ygdy8.net/html/gndy/dyzz/list_23_4.html

这里就可以看出控制每一页的url格式为

’http://www.ygdy8.net/html/gndy/dyzz/list_23_‘+页码+‘.html’

流程

1. 制作要爬取页码的url

    for page in range(1,6):
        print('正在爬取第{}页：'.format(page))

        # 获取详情页
        url=urls.format(page)

2. 通过xpath语法结合lxml，找到每个页面所有电影的详情页url

在这里插入图片描述

def get_detail_urls(url):
    r = requests.get(url,headers=HEADERS)
    html = etree.HTML(r.text)
    hrefs=html.xpath('//table[@class="tbspan"]//a/@href')
    detail_urls = []
    for href in hrefs:
        detail_urls.append(BASEURL+href)

    return detail_urls

3.进入详情页获取影片的详细信息

#进入详情页获取详细信息
def  spider(detail_url):

    r = requests.get(detail_url, headers=HEADERS)
    # 编码的格式是gb2312，属于gbk的子集
    r.encoding='gbk'
    html = etree.HTML(r.text)

    #获取标题
    title = str(html.xpath('//h1//font[@color="#07519a"]/text()')[0])

    #获取海报,有一些网页会没有相关信息，需要捕获这种异常
    try:
        img = str(html.xpath("//p//img/@src")[0])
    except IndexError:
        return
    #获取详情
    intros =  html.xpath('//div[@id="Zoom"]//br')
    for intro in intros:
        intro=etree.tostring(intro, encoding='utf-8').decode('utf-8')
        #获取影片类别
        if intro.startswith('<br />◎类　　别'):
            category = intro.replace('<br />◎类　　别', '').strip()
        #获取影片语言
        elif intro.startswith('<br />◎语　　言'):
            language = intro.replace('<br />◎语　　言', '').strip()
        #获取影片片长
        elif intro.startswith('<br />◎片　　长'):
            dura = intro.replace('<br />◎片　　长', '').strip()
        #获取影片导演
        elif intro.startswith('<br />◎导　　演'):
            director = intro.replace('<br />◎导　　演', '').strip()
        # 获取影片编剧
        elif intro.startswith('<br />◎编　　剧'):
            scenarist = intro.replace('<br />◎编　　剧', '').strip()
        # 获取影片主演，主演有很多个，但是为了省事这里只打印一个
        elif intro.startswith('<br />◎主　　演'):
            actor = intro.replace('<br />◎主　　演', '').strip()

    #构建字典存放每部电影的信息
    info = {
        'title':title,
        'category':category,
        'language':language,
        'duration':dura,
        'director':director,
        'scenarist':scenarist,
        'actor':actor,
        'img': img,
    }

    return info

4. 写入excel中

#将信息写入excel中
def save_excel(infos):
    wb = Workbook()
    dest_filename = '电影天堂最新电影.xlsx'
    ws1 = wb.active
    ws1.title = "电影"

    #打印表头
    _ = ws1.cell(column=1, row=1, value="{0}".format('标题'))
    _ = ws1.cell(column=2, row=1, value="{0}".format('类型'))
    _ = ws1.cell(column=3, row=1, value="{0}".format('语言'))
    _ = ws1.cell(column=4, row=1, value="{0}".format('时长'))
    _ = ws1.cell(column=5, row=1, value="{0}".format('导演'))
    _ = ws1.cell(column=6, row=1, value="{0}".format('编剧'))
    _ = ws1.cell(column=7, row=1, value="{0}".format('主演'))
    _ = ws1.cell(column=8, row=1, value="{0}".format('图片url'))

    row = 2
    for info in infos:
        clo=1
        for key,value in info.items():
            _ = ws1.cell(column=clo, row=row, value="{0}".format(value))
            clo += 1
        row += 1

    wb.save(filename=dest_filename)
xpath爬取猫眼电影
三人行必有我师的博客
01-06 988
import requests from fake_useragent import UserAgent from lxml import etree headers={ 'User-Agent':UserAgent().random } def get_MovieUrl(index_url): response=requests.get(index_url,headers...
使用requests爬取电影天堂数据，用lxml和Xpath
weixin_41964487的博客
01-25 647
完整代码 import requests from lxml import etree BASE_DOMAIN = 'http://www.ygdy8.net' # url = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html' HEADERS = { 'Referer': 'http://www.ygdy8.net/html/gn...
python爬虫教程视频下载-利用Python网络爬虫获取电影天堂视频下载链接【详细教程】...
weixin_37988176的博客
11-01 2910
相信大家都有一种头疼的体验，要下载电影特别费劲，对吧？要一部一部的下载，而且不能直观的知道最近电影更新的状态。今天以电影天堂为例，带大家更直观的去看自己喜欢的电影，并且下载下来。【二、项目准备】首先 我们第一步我们要安装一个Pycharm的软件。电影天堂网的网址：https://www.ygdy8.net/html/gndy/dyzz/list_23_1.html我们需要下载几个库，怎么下载呢？首...
21天打造分布式爬虫-豆瓣电影和电影天堂实战（三）
weixin_34111790的博客
07-31 281
3.1.豆瓣电影 使用lxml import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safar...
XPath之电影天堂数据爬取
weixin_30820151的博客
05-19 692
　　2019.5.19，今天写这个实例写了几个小时，虽然不多，100行代码左右，但是貌似是学python以来代码写得最多的一次了。 主要是看了这个视频https://www.bilibili.com/video/av51650499?from=search&seid=10478614069026676839 然后自己尝试写了一下，大部分都能写出来，就是最后获取“主演”和“简介”的时候不...
01_python爬虫--爬取电影天堂
2401_83322621的博客
09-08 4216
目标:获取电影天堂网站的 2024必看热片的电影名单，并获取每部电影的 '片名', '年代', '产地', '类别', '语言', '下载地址'。然后存入到csv文件中目标网址:https://dy2018.com/问题解决(分析): (1).数据如果在页面源代码，说明可以直接向服务端发送请求，然后可以获取到源代码，我们需要的数据就在源代码上。 (2).数据不在页面源代码上,那么数据很有可能使通过异步加载来加载数据的。什么使异步加载? 异步加载是:url表面没有发生变化的情况下,,加载出来了其他
使用Python多线程爬虫爬取电影天堂资源
09-21
Python多线程爬虫在爬取电影天堂资源时，主要涉及到以下几个知识点： 1. **Python基础知识**：Python是一种高级编程语言，因其简洁易读的语法而受到广大开发者的喜爱，尤其适合于网络爬虫的编写。在本项目中，...
利用requests和lxml库爬取电影天堂中最新电影前10页
zhiguo98的博客
01-20 1209
今天为了在磨练我的爬虫技术，并且顺便复习一下requests和lxml库，写了一个小小的爬虫--------爬取电影天堂中最新电影前10页的内容，说实话，经历了很多坎坷，才爬取成功的，每写一段代都必须检验爬取的结果是否正确，不过，最终完成了这个小小的任务。 第一步： 第二步：  第三步：   话不多说，直接上代码！ import requests from lxm...
使用requests库和lxml解析爬取电影天堂电影信息
做一个全栈美男子
04-11 1819
使用requests库获取电影天堂电影信息，将所有链接保存下来后可以使用迅雷批量下载。快速获得最新最全电影资源！ 站点分析 以电影天堂国内电影为例 http://www.ygdy8.net/html/gndy/china/index.html 分析其目录内每一个电影信息存在table中，首先我们要获取每一个电影的详情地址 所有电影信息的详情链接获取 通过request，获取页面源码，xpath取...
爬虫(9)实战爬取电影天堂的1000+最新电影
小白的程序猿
04-16 6446
在家上网课,闲来无事,想在网上找找电影看,却又不知道看啥电影,不如写个爬虫爬最新的电影,结果爬虫写出来,却没时间看电影了(看电影哪有学习有意思(滑稽))
MoivesSpider:爬取电影天堂最新电影的原始码（Python）
03-23
1爬取入口 电影天堂有5个电影栏目，分别为最新电影，日韩电影，欧美电影，国内电影，综合电影。每个栏目又有一定数量的分页，每个分页有25条电影信息。那么程序的入口可以有5个网址。这5个地址分别对应每个栏目的首页链接。 2爬取思路 知道爬取入口，后面的工作就容易多了。我通过测试发现这几个栏目除了页面的url地址不一样之外，其他例如提取信息的xpath路径是一样的。因此，我把5个栏目当做1个类，再该类进行遍历爬取。 1）请求栏目的首页来获取到分页的总计，以及随之出的每个分页的url地址； 2）将获取到的分页url放置到称为floorQueue地点中； 3）从floorQueue中依次提取分页网址，然后利用多线程发起请求； 4）将获取到的电影页面url存入到称为MiddleQueue的副本； 5）从middleQueue中依次替换电影页面url，再利用多线程发起请求； 6）将请求结果使用Xpath
Python爬虫 -- 抓取电影天堂8分以上电影
weixin_33755847的博客
10-09 1271
看了几天的python语法，还是应该写个东西练练手。刚好假期里面看电影，找不到很好的影片，于是有个想法，何不搞个爬虫把电影天堂里面8分以上的电影爬出来。做完花了两三个小时，撸了这么一个程序。反正蛮简单的，思路和之前用nodejs写爬虫一样。 爬虫的入口从分页的列表开始，比如美剧的列表第一页地址这样： http://www.ygdy8.net/html/gndy/oumei/list_7_1.htm...
Python爬虫案例——爬取电影天堂相关数据保存进MySQL数据库
m0_72628462的博客
07-07 1353
本文介绍了如何使用Python爬虫从电影天堂网站获取电影相关数据，并将数据保存到MySQL数据库中。我们将获取电影的标题、封面、简介、类别和磁力链接。通过以上步骤，我们已成功爬取了电影天堂网站的电影相关数据，并将其保存到MySQL数据库中。我们可以根据需要修改爬取的字段和数据库连接信息，以适应不同的情况。注意：在爬取网站数据时，请确保你遵守网站的使用协议和法律法规。
Python爬虫（二）——爬取电影天堂，保存下载地址
geeknuo的博客
12-11 1万+
首先我们开始要分析一下，下载种子我们需要哪几步： 获取所有电影页的访问地址 获取电影页源码 提取出下载地址 将下载地址保存 首先第一步，我们来分析一下电影天堂网站的结构，发现他跟我们的古诗文网还是非常类似的，全站静网结构，不需要登录，页面有全新的地址，这对于初学来讲是非常容易上手的；接下来我们以国内电影（https://www.ygdy8.net/html/gndy/china/index...
python爬虫——三步爬得电影天堂电影下载链接，30多行代码即可搞定：
tutouprogrammer的博客
03-29 1万+
python爬虫——三步爬得电影天堂电影下载链接，30多行代码即可搞定： 本次我们选择的爬虫对象是：https://www.dy2018.com/index.html 具体的三个步骤：1.定位到2020必看片 2.从2020必看片中提取到子页面地址 3.进去子页面，拿到迅雷下载链接 话不多说，上代码： import requests import re #s1，定位到2020必看片 domain="https://www.dy2018.com" ...
python爬电影_使用Python多线程爬虫爬取电影天堂资源
weixin_39657249的博客
11-22 1万+
最近花些时间学习了一下Python，并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址，代码已经上传到GitHub上了，需要的同学可以自行下载。刚开始学习python希望可以获得宝贵的意见。先来简单介绍一下，网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点，所以需要精心选取一些URL作为起点，然后我们的爬虫从这些起点出发，抓取并解析所抓取到的页面，将所需要的信息提取出来，同时获得的新...
springboot上传文件（前端传来的是base64字符串形式）
热门推荐
weixin_44389577的博客
06-01 2万+
一.前言 不知你是否有这样的需求，前端传过来一个base64的字符串，然后后端接受到后如何进行解析，最后如何解析完保存到某个路径下然后生成一个url，将该url返回给前端，前端通过这个url可以访问到图片，那么你来对了，请接着往下看 二.base64的百度百科理解 base64百度百科 简单来说，base64在java中就是一个字符串，Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，采用Base64编码具有不可读性，需要解码后才能阅读。 三.首先需要引入依赖 <dependency&
爬取豆瓣电影评论代码免费xpath
最新发布
06-07
### 使用XPath爬取豆瓣电影评论的代码示例 以下是一个使用Scrapy框架和XPath选择器爬取豆瓣电影评论的代码示例。此代码基于Scrapy框架，定义了一个Spider类，并通过XPath提取评论信息[^1]。 ```python import ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值