【转载】图像与图形多媒体的几个热门发展方向

  关键词： 图形图象                                          

 

开放实验室:http://openlab.net.cn/forums/437313/ShowPost.aspx

1.数字风景
数字风景在游戏中很重要，真实场景可以大大丰富玩家在游戏过程中的体验。传统的图形流水线将表面渲染为带纹理贴图的多边形, 但是这种方法在模仿真实世界的表面时，效果差强人意。基于这样的原因，大部分的游戏多多少少看起来都有点不真实。最新的显卡，例如在Xbox中使用的，是有顶点渲染器和像素渲染器的图形处理器(GPU)。这些GPU使实时渲染逼真的表面成为可能。数字风景这个方向将为游戏开发人员开发一系列相关技术，使他们能够实时的渲染逼真的自然场景。特别是，不仅将为游戏开发人员提供实时渲染引擎，而且还为艺术创作人员提供易用的场景编辑环境。
(1) 海洋模拟
在现有的实时应用中，海洋表面通常被模拟成带纹理贴图或凹凸贴图的平面，具有一些简单的光影效果。现有的系统可以渲染平静的海洋波浪，并且有复杂的光影效果，在配备GeForce3显卡的680MHZ奔腾III PC上能达到100fps. 波浪的几何模型是用视角相关的动态位移贴图来表示的，而表面的细节则是用动态凹凸贴图来描述的。光照模型包括反射和折射，以及最重要的费涅尔现象，就是这个费涅尔现象才真正给人以水的感觉。

(2) 树干渲染
树干的表面细节是决定其视觉效果的最主要因素，这些视觉效果包括复杂的阴影、遮挡和轮廓。目前有人提出了一种新的方法，能为树干的表面细节建立逼真的模型，并有效的渲染前面提到的各种视觉效果。建模方面，我们的系统是基于图像的：以单个树干的照片作为输入，生成带纹理的高度场作为输出的树干样本。有了这个样本以后，我们就可以生成树的主干和枝干的表面细节。渲染方面，一种新的技术，称之为基于视点的位移贴图(VDM)，它沿着视角的方向来表示位移。和传统的位移贴图不同，VDM可以有效的渲染阴影、遮挡和轮廓等视觉效果，而不增加对应的表面几何网格的复杂度。VDM是基于逐像素处理的技术，有了图形硬件的支持，可以实时渲染具有高度真实感的物体表面细节。

    2.面部表情合成
通过面部表情合成系统，使用者只需给定面部特征点的位置，系统就能够生成相应的面部表情，并且包含逼真的细节，比如人脸中的皱纹就是从若干示例照片获得的。系统生成的结果是看起来很自然的面部表情。我们还将展现静态的和连续的面部表情；以及三维的面部动画。通过将这个系统和以前的面部表情映射系统的结合，我们能够在任何面部图像上产生连续的面部表情序列，这个技术可以应用到名人或雕像上，即使他们没有可用的表情示例。因为大部分已有的面部动画系统都是通过移动特征点来产生面部表情，我们可以运用我们的技术来改善这些系统，使它们能生成更真实自然的面部表情。动画创作人员也可以使用我们的系统，只需提供若干示例，就能够创建具有细微皮肤变形的任意三维面部表情。


    3.外观建模
自然世界中的每个表面都有其特有的光线反射和穿透特性，因此在一定的光照条件之下，就会产生特有的外观。外观建模的目标就是抓住真实世界中各种表面的丰富特性。目前的焦点之一是双向纹理函数(BTF)。最近的工作包括任意表面上的BTF生成，基于GPU的BTF实时渲染，毛状物体（如毛衣）的高度真实感渲染等。


    4.纹理合成
纹理合成在计算机视觉和图形领域是一个已经被深入研究过的问题。

    5.基于图像的渲染
这是一个很有前景的领域。最近的工作包括对在线虚拟环境的建模和渲染，其中使用了同心拼图和对光场的操作（如光场变形）等技术。

图形学还是很有搞头的。
由于真实感的建模有一定的局限性，现在的趋势是将计算机视觉和图形学结合起来，去年siggraph中singbing kang他们发表了这样一篇论文被评为跨时代的进展。
纹理合成我搞过，个人认为纹理合成已经被做死了。基本熵已经都被一帮bt做光了。
image based rendering你提到的技术也是做光的技术。
那个BTF,是MSRA前年在siggraph上发的文章。
建议看看今年的siggraph。

视频编码方面，我觉得研究的前沿是scalable video coding, multiview video coding and high definition mosaic based video coding 这些。
svc是最最火的。今年JVT在香港的一次会议就是专门讨论这个方面的。现在的H.264 extension中就是在做SVC. 做这方面比较牛的是 hhi 和MSRA 的3d wavelet codec.这方面的坑比较多，想怎么挖就怎么挖。相关的顶级期刊是CSVT

计算机视觉方面的坑决不少于CG方面的，但是太多了不知从何说起。
主流的期刊会议是
PAMI, CVPR, IJCV ICCV (BMVC CVIU ICIP 较低)

国内的研究情况是，CG是最乐观的。MSRA中科院计算所浙大在国际顶级会议上有不少论文。今年BT的MSRA居然发了12篇还是17篇。比他到中国以来发的总数还多。
video 方面也还行，MSRA和几个高校提的draft给JVT收了。我记得是上交，清华华南理工，中山大学，哈工大提了几个，清华的肯定是收了。其他几个记不清了。MSRA就太多了。现在SVC可是MSRA挑头的。现在研究比较多的PFGS(对应于MPEG4中的FGS)就是MSRA提出来的。
CV方面,今年的CVPR清华，北大，港科大，上交，MSRA发的比较多。特别是港科大发了7篇，其中有一个禽兽一个人发了6篇。上交是0的突破。

西北地区唯一的一篇PMAI (PR， CV领域内的顶级期刊)
是西交郑南宁的学生在MSRA期间发的。

虽然各个领域有各个领域的坑可挖，但是要挖高水平的坑难度还是很大的。而且是在相互比时间，经常会遇到这样的情况，你的idea刚做完。别人和你类似的idea已经在某会议上发表了。

research is a competition of speed & smart。