最简单的视音频播放示例3 Direct3D播放YUV，RGB（通过Surface）

最新推荐文章于 2024-07-19 18:54:34 发布

比较清纯

最新推荐文章于 2024-07-19 18:54:34 发布

阅读量517

点赞数

本文链接：https://blog.youkuaiyun.com/hffgjh/article/details/84039900

版权

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

=====================================================

最简单的视音频播放示例系列文章列表：

最简单的视音频播放示例1：总述

最简单的视音频播放示例2：GDI播放YUV, RGB

最简单的视音频播放示例3：Direct3D播放YUV，RGB（通过Surface）

最简单的视音频播放示例4：Direct3D播放RGB（通过Texture）

最简单的视音频播放示例5：OpenGL播放RGB/YUV

最简单的视音频播放示例6：OpenGL播放YUV420P（通过Texture，使用Shader）

最简单的视音频播放示例7：SDL2播放RGB/YUV

最简单的视音频播放示例8：DirectSound播放PCM

最简单的视音频播放示例9：SDL2播放PCM

=====================================================

上一篇文章记录了GDI播放视频的技术。打算接下来写两篇文章记录Direct3D（简称D3D）播放视频的技术。Direct3D应该Windows下最常用的播放视频的技术。实际上视频播放只是Direct3D的“副业”，它主要用于3D游戏制作。当前主流的游戏几乎都是使用Direct3D制作的，例如《地下城与勇士》，《穿越火线》，《英雄联盟》，《魔兽世界》，《QQ飞车》等等。使用Direct3D可以用两种方式渲染视频：Surface和Texture。使用Surface相对来说比使用Texture要简单一些，但是不如使用Texture灵活。鉴于使用Surface更加容易上手，本文记录使用Direct3D中的Surface显示视频的技术。下一篇文章再记录使用Direct3D中的Texture显示视频的技术。

Direct3D简介

下面下简单记录一下背景知识。摘录修改了维基上的一部分内容（维基上这部分叙述貌似很不准确…）：

Direct3D（简称：D3D）是微软公司在Microsoft Windows系统上开发的一套3D绘图API，是DirectX的一部份，目前广为各家显示卡所支援。1995年2月，微软收购了英国的Rendermorphics公司，将RealityLab 2.0技术发展成Direct3D标准，并整合到Microsoft Windows中，Direct3D在DirectX 3.0开始出现。后来在DirectX 8.0发表时与DirectDraw编程介面合并并改名为DirectX Graphics。Direct3D与Windows GDI是同层级组件。它可以直接调用底层显卡的功能。与OpenGL同为电脑绘图软件和电脑游戏最常使用的两套绘图API。

抽象概念

Direct3D的抽象概念包括：Devices（设备），Swap Chains（交换链）和Resources（资源）。

Device（设备）用于渲染3D场景。例如单色设备就会渲染黑白图片，而彩色设备则会渲染彩色图片。Device目前我自己了解的有以下2类（还有其他类型，但不是很熟）：

HAL（Hardware Abstraction Layer）：支持硬件加速的设备。在所有设备中运行速度是最快的，也是最常用的。
Reference：模拟一些硬件还不支持的新功能。换言之，就是利用软件，在CPU对硬件渲染设备的一个模拟。

每一个Device至少要有一个Swap Chain（交换链）。一个Swap Chain由一个或多个Back Buffer Surfaces（后台缓冲表面）组成。渲染在Back Buffer中完成。
此外，Device包含了一系列的Resources（资源），用于定义渲染时候的数据。每个Resources有4个属性：

Type：描述Resource的类型。例如surface， volume， texture， cube texture， volume texture， surface texture， index buffer 或者vertex buffer。
Usage：描述Resource如何被使用。例如指定Resource是以只读方式调用还是以可读写的方式调用。
Format：数据的格式。比如一个二维表面的像素格式。例如，D3DFMT_R8G8B8的Format表明了数据格式是24 bits颜色深度的RGB数据。
Pool：描述Resource如何被管理和存储。默认的情况下Resource会被存储在设备的内存（例如显卡的显存）中。也可以指定Resource存储在系统内存中。

渲染流水线（rendering pipeline）

Direct3D API定义了一组Vertices（顶点）， Textures（纹理）， Buffers（缓冲区）转换到屏幕上的流程。这样的流程称为Rendering Pipeline（渲染流水线），它的各阶段包括：

Input Assembler（输入组装）：从应用程序里读取vertex数据，将其装进流水线。
Vertex Shader（顶点着色器）：对每个顶点属性进行着色。每次处理一个顶点，比如变换、贴图、光照等。注意这个地方可能需要自己编程。
Geometry Shader（几何着色器）： Shader Model 4.0引进了几何着色器，处理点、线、面的几何坐标变换。此处我自己还不是很了解。

PS：上述处理完后的数据可以理解为以下图片。即包含顶点信息，但不包含颜色信息。