《虐杀原形2》的特效系统

由activision&blizzard旗下的,坐落在加拿大的radical entertainment带来:http://www.gamasutra.com/view/feature/169769/fire_blood_explosions_prototype_.php?print=1

radical entertainment虽然带来的暴力畅快的游戏,但是还是于12年被关闭,不免有点蛋蛋的忧伤。

 

prototype系列一直血腥无比,里面特效系统功不可没,

特效制作

  • 美术在maya里面开发特效
  • 然后特效由其in game的脚本系统所驱动,这个过程,可以对一些参数进行修改,大一些,快一些等等
    • 这也带来一个好处就是,起到一个资源被多个instance共享,同时保持不错的多样性的好处

cache friendly

  • particle的attribute被分组放在一起(内存连续),比如position们是在一起的,这是一个典型的data oriented的方式,最大化cache friendly
    • 像position被分离的话,在camera cull&sort方面都会更好

内存优化

频繁allocate造成严重的memory fragment,解决方式就是使用memory pool,pool满了之后,再进行dynamic的heap allocate.

另外一个很棒的方法是把particle分类:

  • 爆炸类,环境特效类,火花子弹类等等,并使用queue来管理
  • 这样可以进一步分类的对特效进行限制,在系统承受不住的时候,可以对每一个类型设限,如果还要新生成某一个类型的时候,可以把一个老的来强制关闭,通过fading一系列步骤回收
  • 更棒的是对于不同种类的particle可以使用不同类型优化方式,比如火花子弹,就可以以更激进的方式,在离远的时候禁播

vertex buffer memory

这个也是每个particle系统必会提到的,这个文章里面的情况有些特殊,只能在console上面这种有内存绝对控制权的平台上面使用,对于pc不太行。

prototype2是使用一个frame allocator(每帧清掉,线性递增)来处理,这个也是有些年头的技术了,大家很熟悉了

与美术一同处理性能

虽然美术也是有这样的性能意识,但是在压力之下(项目总是很容易出现这个情况,或者说这就是应该出现的情况),美术很难再保持对性能的关注。

这点在prototype1的开发过程,让radical entertainment没少吃苦头。

那么程序这边就需要来良好的帮助美术,找到有问题的点,进行处理。把所有特效都处理的高效,听起来很美,但是现实中不具备实现的条件。

第一个是可视化的给出特效的百分比,这个非常的棒,尤其是pc平台的开发,因为平台机器性能的问题,可能有一些强力机器上面跑得非常快,一个东西1点几毫秒,你很难说它是快是慢。

但是放成比率,那么准确度就大幅度上升了。

这样美术可以较为容易的看到消耗,另外还有一些文字化的统计信息,也非常的好:

prototype2还是用occlusion query来标识overdraw,也是particle消耗的重要方面。

这样美术可以比较直观的看到相关的所有,这也让对性能的控制更加的容易了。

LOD等性能的控制

如第一部分提到的,有脚本来控制一些attribute,这样就在lod的时候,可以做到一个smooth的改变。

同时也会根据上一帧的性能情况进行dynamic lod的改变,更少的,更低lod的particle生成等等。

渲染

  • multi resolution:这点借鉴bungie的做法,也是有一个动态的,性能压力大的时候,就更多的放到低分辨率buffer上面去,小的时候甚至一点都不放
  • 在低resolution贴回高resolution部分,使用nearest depth filter,这个应该说是效果最好的(好于bilaterial filter)
  • alpha blending/addive:使用了一个比较常用的:在shader里面计算好,进而把blending和additive统一起来,代码:
Add-Alpha Shader Code
// Add-alpha pixel shader. To be used in conjunction
// with the blend factors {One, InverseSourceAlpha}

float4 addalphaPS(
float4 vertexColour : COLOR0,
float2 uvFrame0 : TEXCOORD0,
float2 uvFrame1 : TEXCOORD1,
float subFrameStep : TEXCOORD2 ) : COLOR

{

// Fetch both texture frames and interpolate

float4 frame0 = tex2D( FXAtlasSampler, uvFrame0 );
float4 frame1 = tex2D( FXAtlasSampler, uvFrame1 );
float4 tex = lerp(frame0, frame1, subFrameStep);

// Pre-multiply the texture alpha. For alpha-blended particles,
// this achieves the same effect as a SourceAlpha blend factor

float3 preMultipliedColour = tex.rgb * tex.a;
float3 colourOut = vertexColour.rgb * preMultipliedColour;

// The vertex alpha controls whether the particle is alpha
// blended or additive; 0 = additive, 1 = alpha blended,
// or an intermediate value for a mix of both

float alphaOut = vertexColour.a * tex.a;
return float4( colourOut, alphaOut );

}
  • lighting:把lighting&shadow信息统一预计算到一个texture里面(ati卡上面使用r2vb,直接在vertex shader里面读取),然后在vertex shader里面进行光照计算


 

本文旨在系统阐述利用MATLAB平台执行多模态语音分离任务的方法,重点围绕LRS3数据集的数据生成流程展开。LRS3(长时RGB+音频语音数据集)作为一个规模庞大的视频与音频集合,整合了丰富的视觉与听觉信息,适用于语音识别、语音分离及情感分析等多种研究场景。MATLAB凭借其高效的数值计算能力与完备的编程环境,成为处理此类多模态任务的适宜工具。 多模态语音分离的核心在于综合利用视觉与听觉等多种输入信息来解析语音信号。具体而言,该任务的目标是从混合音频中分离出不同说话人的声音,并借助视频中的唇部运动信息作为辅助线索。LRS3数据集包含大量同步的视频与音频片段,提供RGB视频、单声道音频及对应的文本转录,为多模态语音处理算法的开发与评估提供了重要平台。其高质量与大容量使其成为该领域的关键资源。 在相关资源包中,主要包含以下两部分内容: 1. 说明文档:该文件详细阐述了项目的整体结构、代码运行方式、预期结果以及可能遇到的问题与解决方案。在进行数据处理或模型训练前,仔细阅读此文档对正确理解与操作代码至关重要。 2. 专用于语音分离任务的LRS3数据集版本:解压后可获得原始的视频、音频及转录文件,这些数据将由MATLAB脚本读取并用于生成后续训练与测试所需的数据。 基于MATLAB的多模态语音分离通常遵循以下步骤: 1. 数据预处理:从LRS3数据集中提取每段视频的音频特征与视觉特征。音频特征可包括梅尔频率倒谱系数、感知线性预测系数等;视觉特征则涉及唇部运动的检测与关键点定位。 2. 特征融合:将提取的音频特征与视觉特征相结合,构建多模态表示。融合方式可采用简单拼接、加权融合或基于深度学习模型的复杂方法。 3. 模型构建:设计并实现用于语音分离的模型。传统方法可采用自适应滤波器或矩阵分解,而深度学习方法如U-Net、Transformer等在多模态学习中表现优异。 4. 训练与优化:使用预处理后的数据对模型进行训练,并通过交叉验证与超参数调整来优化模型性能。 5. 评估与应用:采用信号失真比、信号干扰比及信号伪影比等标准指标评估模型性能。若结果满足要求,该模型可进一步应用于实际语音分离任务。 借助MATLAB强大的矩阵运算功能与信号处理工具箱,上述步骤得以有效实施。需注意的是,多模态任务常需大量计算资源,处理大规模数据集时可能需要对代码进行优化或借助GPU加速。所提供的MATLAB脚本为多模态语音分离研究奠定了基础,通过深入理解与运用这些脚本,研究者可更扎实地掌握语音分离的原理,从而提升其在实用场景中的性能表现。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值