文章目录
M3U8流视频数据爬虫
1、HLS技术介绍
现在大部分视频客户端都采用HTTP Live Streaming,而不是直接播放MP4等视频文件(HLS,Apple为了提高流播效率开发的技术)。
HLS技术的特点是将流媒体切分为若干【TS片段】(比如几秒一段),然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现实时流式播放。
因此,在爬取HLS的流媒体文件的思路一般是先【下载M3U8文件】并分析其中内容,然后在批量下载文件中定义的【TS片段】,最后将其【组合】成mp4文件或者直接保存TS片段。
说说简单,其实在实际操作中,会遇到很多复杂的问题,例如m3u8文件下载不下来,ts片段文件被加密了,甚至加密ts片段的密钥也被加密了。
1.HLS的作用
HLS技术目前在主流的应用产品中被应用的比较广。主要的原因在于,HLS技术比传统的流媒体技术的好处在于,视频一旦切分完成,之后的分发过程完全不需要额外使用任何专门软件,
仅仅普通的Web服务器即可,这样就降低了对服务器的技术要求。
另外,用TS做流媒体封装还有一个好处,就是不需要加载完整视频后播放,