利用python对有规律的url进行视频爬取中遇到的小问题及解决方案

最新推荐文章于 2025-05-24 16:37:59 发布

原创

最新推荐文章于 2025-05-24 16:37:59 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Python

在尝试使用Python爬取某视频网站的视频时，遇到了两个问题。一是爬取到的视频只有10s且清晰度低，通过分析url发现并修复了这个问题，将短链接改为完整视频链接。二是当爬取到40+页时，由于可能的反爬机制，程序报错。问题尚未解决，期待通过bs4或正则表达式等方法找到解决策略。欢迎高手指导。

人生苦短，请用Python。
今天在某视频门户网站（某字母站）看了一集教大家利用Python中的requests、etree和xpath进行视频爬取。照着视频一行行敲完代码之后，尝试着运行了一下，果然开始爬取了，但运行一段时间后，出现了两个小问题。
①爬取到的视频最长只有10s且清晰度很低，但是在网页上打开并不是这样的。（已解决）
②总共200+页的视频，在爬取到40+页的时候，程序报错，是模块中的错误。初步怀疑是网站的反爬机制造成的。（此问题还未解决，解决后补充）
首先贴上代码：

import requests
from lxml import etree

# 面向对象设计模式
class Spider(object):
    def __init__(self):
        self.offset = 1
    def start_work(self):
        for self.offset in range(1,224):
            print('正在爬取第%d页....' % self.offset)
            response = requests.get(url = 'https://ibaotu.com/shipin/7-0-0-0-0-' + str(self.offset) + '.html')
            html = response.text
            html = etree.HTML(html)
            video_src = html.xpath('//div[@class="video-play"]/video/@src')
            video_title = html.xpath('//span[@class="video-title"]/text()')
            # 使得获取完整的视频连接而不是被压缩过的视频连接
            real_src = []
            for i in video_src:
                current_src = i[:-8]
                real