python简单爬虫抓取视频demo-完善

最新推荐文章于 2024-10-05 14:53:00 发布

转载最新推荐文章于 2024-10-05 14:53:00 发布 · 204 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/huahua2018/p/8857474.html

文章标签：

#json #爬虫 #python

本文介绍了一套针对CNTV视频网站的爬虫实现方法，包括如何构造请求URL获取视频列表，解析JSON响应以提取视频GUID，以及进一步获取不同分辨率视频的URL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from parse import parse_url
import json


def get_url(p,n=1):
    # p 页数 n 电视剧集数
    url = "http://api.cntv.cn/videoset/getVideoListByAlbumId?id=VIDA1404730290373811&mode=0&p={}&n={}&sort=2&serviceId=tvcctv&cb=".format(
        p,n)
    return url

def get_guid(url):
    json_response = parse_url(url)
    json_loads = json.loads(json_response)
    guid  = json_loads['itemList'][0]['guid']
    return guid

def get_video(guid):
    v_url = "http://vdn.apps.cntv.cn/api/getIpadVideoInfo.do?pid={}&vn=2049".format(guid)
    v_response = parse_url(v_url)
    # v_loads = json.loads(v_response)
    return v_response
def get_json(str):
    # 返回数据处理为类json字符串
    str_start = len("var html5VideoData = '")
    str_end = len("';getHtml5VideoData(html5VideoData);")
    video_str = str[str_start:-str_end]
    v_str_all = json.loads(video_str)
    v_str = v_str_all['video']
    # 第一种分辨率视频
    v_low_urllist=''
    v_low2_urllist = ''
    v_low3_urllist = ''
    v_low4_urllist = ''
    v_low=v_str['lowChapters']
    v_low2 = v_str['chapters']
    v_low3 = v_str['chapters2']
    v_low4 = v_str['chapters4']
    # 所有分辨率的视频信息 列表转json 存入文档
    v_all=v_low+v_low2+v_low3+v_low4
    v_all=json.dumps(v_all)
    # 每种分辨率的视频 只要URL
    for v in v_low:
        v_low_urllist += v['url']+"\n"
    for v2 in v_low2:
        v_low2_urllist += v2['url'] + "\n"
    for v3 in v_low3:
        v_low3_urllist += v3['url'] + "\n"
    for v4 in v_low4:
        v_low4_urllist += v4['url'] + "\n"

    return v_all,v_low_urllist,v_low2_urllist,v_low3_urllist,v_low4_urllist


def run():
    # 传递第一集信息
    temp_url = get_url(1)
    # 获取响应guid
    temp_guid = get_guid(temp_url)
    # 获取视频详情请求
    temp_video = get_video(temp_guid)
    # 处理类json结果
    v_all,temp_json1,temp_json2,temp_json3,temp_json4 = get_json(temp_video)
    # print("第一种分辨率视频信息",temp_json1)
    # print("第二种分辨率视频信息",temp_json2)
    # print("第三种分辨率视频信息",temp_json3)
    # print("第四种分辨率视频信息",temp_json4)
    print(v_all)
    # 保存数据到txt
    f = open("video_info.txt", "w", encoding="utf-8")
    f.write(v_all)
    f.close()