点云的流媒体动态传输
绪论:论文可能涉嫌学术造假
个人观点是没有open-source的论文都是在扯淡,但是其中提出的方法有借鉴意义,值得我们学习,发邮件给作者可能给code(已证实行不通)
下面贴一下我发邮件去请求开源代码的回复,大家自己品
1.abstract
dash
video content存放在server上,通过mpd文件视为可用段、比特率和其他特征的显示
在这里我们将mpeg - dash的语义扩展为一个动态点云流系统,其支持view-aware 和 bandwidth-aware 的自适应
2.2 View-Aware Media Streaming
360 videos, VR, and 3D media都会使用view-Aware Media Streaming
传输(transmit),渲染(render),展示(display)
这篇论文提出视图感知适应技术,以减少高质量点云流的带宽需求
2.3 Point Cloud Compression 点云压缩
暂时还没有解决动态自适应的点云流的工作
现有的办法都是基于几何的方法进行点云压缩
[5] Google’s Draco project
使用kd-tree这种数据结构来在3d空间中量化和组织点
[16] Schnabel and Klein’s work
一种基于空间八叉树分解的解决方案,其中点云是根据八叉树单元进行编码的
3 METHODOLOGY
流式传输稠密点云的挑战之一是其高容量,所以就需要流式传输提供高带宽
如何减少带宽的需求?
- 在三维空间中减少点的密度
这不仅导致点的数量级更小,而且还减少了gpu辅助的图形渲染和处理开销;但是这可能带来的坏处就是视觉质量的降低,这取决于Level of Density (LoD) 在应用上下文中的重要性
DASH-PC 框架的目的就是整合这些特征,并允许客户端client来根据当前可使用的资源,观看偏好来选择最适合的LoD表示
基于密度的自适应对于满足视觉适应性的目的特别有用
这篇论文提出的框架(framework)是通过使用标准DASH来传输并让client去选择具有不同的点云帧(不同density表示,使用http协议)
选择依据:当前可用的bandwidth大小,显示终端的分辨率或者处理功率
DASH-PC的自适应特征和标准DASH一致,通过XML格式的manifest文件来描述,manifest文件包含客户端(client)与媒体服务器建立HTTP请求并检索点云model的metadata
存储在标准http server上不同的点云特征表示
manifest文件被分割为几个单独的frame
每个frame包含一些的adaption set
每个adaption set提供不同画质的选择,并提供关于每一帧的index
、帧的HTTP location和LoD representation
接下来我们简要介绍一些DASH-PC MPD文件中的descriptors 和 attributes
这里也借鉴了DASH中的mime类型
@format. 指定点云容器格式
@encoding. 指定点云编码(ASCII或二进制)
@frames.指定后跟点云帧的数目
@type.显示mainfest文件是否可以在会话期间更新(静态(默认)或动态)
@BaseURL.指定点云的base HTTP URL
Frame 一个Frame一般代表一个点云模型。
对于每一帧(Frame)存在点云模型的多个自适应组
Frame的组成成分
•id: a unique identifier of the frame.
•BaseURL: specifies the base HTTP URL of the frame.
•AdaptationSet: specifies the sub-clause adaptation sets.
AdaptationSet的基础组成:
•id: a unique identifier of the adaptation set.
•BaseURL: specifies the base HTTP URL of the adaptation set.
•Representation: specifies the sub-clause representations
Representation的基本组成:
•id: unique identifier of the representation.
•BaseURL: specifies the base HTTP URL of the rep-resentation.
•density: specifies the density of the point cloud model in terms of the number of points.
•size: specifies the size of the point cloud model in terms of the storage volume.
•Segment: specifies the sub-clause segments.
Segment的基本组成:
•id: unique identifier of the adaptation set.
•BaseURL: specifies the HTTP URL of the segment.
•density: specifies the density of the point cloud modelin terms of the number of points.
•size: specifies the size of the point cloud model interms of the storage volume.
3.2 Point Cloud Sub-sampling
提供3种方法:基于对三维空间中的相邻点进行空间聚类,并对每个聚类中的点进行采样
算法1描述了我们的第一个子抽样方法的过程。每个聚类由空间域上的一组邻点组成,其子采样率为。