HoloLens2开发笔记-使用UWP原生MediaCapture解决图像捕获与WebRTC视频流冲突问题

前言

真的太开心了，查阅了很多文档终于解决了这个问题。

事情的起因是由于我在项目中使用了 MixedReality-WebRTC 库实现与 Web 端的实时音视频通讯，同时呢，还在项目中使用了 Unity 封装好的 Windows API 实现图像捕获功能（详情可看：Hololens2开发笔记-捕获照片到内存并上传至服务器 这篇文章），并将图像数据上传到云端。在实践的过程中就出现了问题了，它俩居然是冲突的 emmmm

当 HoloLens2 在和 Web 端进行实时音视频通讯的时候，如果我使用了图像捕获功能，程序就崩溃了，呜呜呜，我就猜想原因可能就出在对相机资源的抢占上吧

好在天无绝人之路，我无意中发现，当在使用 MixedReality-WebRTC 库的时候，如果使用基于 Unity 封装好的 Windows API 来捕获图像会一直失败，但是调用系统相机拍照功能，居然不会冲突，可以在实时音视频传输的同时拍摄图像，诶这就有点意思了

开始查阅资料，重新细读了 HoloLens2 官方文档中的 可定位相机 这篇文章，这可真是给了我大大的帮助啊

首先我了解到我之前使用的一直与 WebRTC 冲突的图像捕获功能是基于 Unity 封装好的 Windows API，如下图

然后，我又在 面向开发人员的 Mixed Reality 捕获 这篇文章中，发现 HoloLens2 是可以共享对相机的访问的（我之前开发过 HoloLens1 代，就遇到过对相机资源的抢占这种情况，对这个问题印象就比较深刻），如下图

既然可以设置 SharedMode 属性来共享对相机的访问，那么 MixedReality-WebRTC 库对视频流的捕获到底是不是 SharedReadOnly 共享模式呢

开始细读 MixedReality-WebRTC 库提供的那些 Unity 脚本文件，终于，在 WebcamSource.cs 脚本中，发现了 SharedReadOnly 设置代码，如下

这下事情就很清楚了，MixedReality-WebRTC 库是以 SharedReadOnly 共享相机模式进行运行的，而 Unity 封装好的 Windows API 实现的图像捕获功能可能是以 ExclusiveControl 独占模式来捕获图像的，所以就造成了冲突。

而系统自带的拍照功能应该是以 SharedReadOnly 模式运行，所以就可以在实时音视频通讯的同时，来拍摄图像了。后面的代码实践中也证实了这一点

面向开发人员的 Mixed Reality 捕获 这篇文档还提到开发人员只需编写几行代码，即可使用 相机捕获 UI API 获取用户捕获的混合现实照片或视频。

所有的解决办法都指向了使用 UWP 原生 MediaCapture API 来使用图像捕获功能便可解决冲突

在经历了几个日夜的学习和踩坑后，终于成功解决问题，开心哈哈~~

关键代码

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;
using System.IO;

#if UNITY_WSA && !UNITY_EDITOR
using System.Threading.Tasks;
using global::Windows.UI.Core;
using global::Windows.Foundation;
using global::Windows.Media.Core;
using global::Windows.Media.Capture;
using global::Windows.ApplicationModel.Core;
using global::Windows.Storage;
using global::Windows.Storage.Streams;
using global::Windows.Graphics.Imaging;
using global::Windows.Media