7、基于MapReduce的视频转码联邦系统应对未来海量视频自拍分享趋势

基于MapReduce的视频转码联邦系统应对未来海量视频自拍分享趋势

1. 引言

社交网络的出现带来了直接、快速、有情感且一对一的交流方式，取代了传统的信息中介。像Periscope、Meerkat等应用，让用户可以随时随地进行直播。此外，Dubsmash等应用也允许用户轻松制作和分享有趣的视频。

当前照片自拍分享的趋势正逐渐转变为视频自拍分享。由于并非所有用户都拥有支持高清视频播放和传输的设备和网络带宽，因此需要将视频转码为多种格式，以适应不同用户的硬件和网络条件。这就需要一个能够快速、高效且可扩展地处理数百万视频分享和观看请求的系统。云计算通过资源虚拟化提供了弹性资源管理的能力，但单个云计算服务提供商可能无法应对如此大量的大数据。因此，提出了一种基于云联邦的系统，利用Hadoop MapReduce范式进行多格式视频转码和分发。

2. 相关工作

移动设备和社交网络的广泛使用导致数据量爆炸式增长，大数据问题成为信息通信技术领域的关键挑战。云计算基础设施即服务（IaaS）被认为是解决大数据问题的一种可能方案。Hadoop等大数据处理平台可以利用云计算的计算能力，通过虚拟机（VM）进行数据处理。

过去的一些研究致力于优化Hadoop在异构环境中的计算，如“PIKACHU”试图优化所有处理任务，特别是map、shuffle和reduce三个主要阶段。Zhuo Tang等人提出了一种算法，可动态确定reduce任务的最佳启动时间，减少任务时间浪费。“An Adaptive Auto - configuration”则提出了一种基于数学模型的自适应自动配置工具（AACT），用于优化Hadoop的配置。

然而，这些工作主要集中