HoloLens2开发笔记-实现HoloLens2与Web浏览器实时视频流通信（MixedReality-WebRTC）

最新推荐文章于 2025-04-28 17:57:07 发布
原创 最新推荐文章于 2025-04-28 17:57:07 发布 · 6.2k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hololens2 #webrtc #unity3d

本文档记录了在Windows10环境下，使用Unity和WebRTC进行HoloLens2与Web浏览器之间的视频通话开发。作者在实现过程中遇到了HoloLens能看见浏览器视频但浏览器无法看到HoloLens视频的问题。通过分析SDP Offer和Answer，发现HoloLens发送的SDP缺少流ID，导致音频轨和视频轨未绑定。在MixedReality-WebRTC的PeerConnection.cs脚本中设置Transceiver.StreamIDs属性后，成功解决了问题，使得Web端能接收到HoloLens的视频流。

文章目录

前言

在查阅了很多 Issues 和学习了 WebRTC SDP 相关的诸多知识后，终于实现了这一需求，开心~

如果需要更详细的教程的欢迎留言，后面有时间会更新~

开发环境

  • Windows 10 教育版 18363.1379
  • Unity 2019.4.20f1c1
  • VS2019 16.9.3
  • WIN SDK 10.0.18362.0
  • Hololens2 内部预览版本 10.0.20301.1000

信令服务器

使用官方教程里的 node-dss

Web客户端脚本

可以参考我的 GitHub 仓库：peerconnection_hololens

其中，信令服务器部署在一台云服务器上，Web客户端部署在另一台云服务器上，云服务器需要有备案域名，可以申请SSL证书从而提供Https服务，不然无法请求 Web 浏览器的摄像头。

通信流程

  1. Web 客户端连接信令服务器
  2. HoloLens 2 客户端连接信令服务器，并发送 Offer
  3. Web 客户端收到 Offer，设置 SDP，生成 Answer。通过信令服务
最低0.47元/天 解锁文章
Unity Hololens2开发|（四）实时画面电脑预览（2种方法）
游戏开发小Y的博客
10-20 13万+
打开浏览器在搜索栏输入Hololens2 IP地址。如果出现安全问题拒绝访问，点开下面的更多信息然后进入，输入usrname、password。获取Hololens2 IP地址，打开Hololens2的Holographic Remoting Player 可以得到IP。如果不成功，请到Hololos设备里设置->更新和安全->开发人员模式是否打开。-依次 查看->混合现实捕获->实时预览 点开即可看到Hololens画面。
【关于在Hololens上使用微软的MixedReality-WebRTC实现音视频通话】
qq_41839772的博客
03-14 9228
前言 记录 使用 MRWebRTC 在 HoloLens2上制作音视频通讯功能。 以下是官方说明文档： https://microsoft.github.io/MixedReality-WebRTC/manual/unity/helloworld-unity.html 安装及使用 这是MixedReality-WebRTC的Github上的库文件，链接： https://github.com/microsoft/MixedReality-WebRTC 1-1. 我们下载以下两个文件，一个 taz 格式的库文
webrtc 测试_MixedReality-WebRTC详细使用
weixin_39706441的博客
12-13 1887
最近想研究WebRTC在HoloLens2上如何使用。由于过程复杂，所以今天记录下来。官方仓库：MixedReality-WebRTC GitHub​github.com使用手册：MixedReality-WebRTC Documentation​microsoft.github.io我们主要讨论MixedReality-WebRTC在Unity上的使用在使用手册中打开Unity Tutorial...
MixedReality-WebRTC开源项目常见问题解决方案
gitblog_00110的博客
11-26 391
MixedReality-WebRTC是一个开源项目，旨在帮助混合现实应用程序开发者将音频和视频实时通信集成到他们的应用程序中，以改善协作体验。该项目提供了一系列组件，支持多轨道实时音频/视频/数据通信，并且提供了一个抽象的信号接口以方便切换实现。它为C++和C#提供了API，以便集成到现有应用程序中，并包括了一套Unity3D组件，用于快速原型设计和集成。该项目支持Microsoft HoloL...
Unity 开发HoloLens2 的WebRTC（微软mrwebrtc） 应用
lwsas1的专栏
09-11 4591
使用Unity 开发HoloLens2的应用，有不少坑要踩。本文记录了使用微软官方的WebRTC库，开发适配HoloLens2的webRTC应用，其中需要主要的坑。 一、官方资料 微软的官方库，名称：MixedReality-WebRTC 官方资料连接：https://microsoft.github.io/MixedReality-WebRTC/manual/gettingstarted.html 如果使用Unity开发，则需要在Unity编译器中引入相关的插件包，需要...
MixedReality-WebRTC：MixedReality-WebRTC是一组组件的集合，可帮助混合现实应用程序开发人员将音频和视频实时通信集成到其应用程序中，并改善他们的协作体验
01-28
MixedReality-WebRTC MixedReality-WebRTC是一组库，可帮助混合现实应用程序开发人员将对等实时音频和视频通信集成到其应用程序中，并改善他们的协作体验。 与远程对等方实现多轨实时音频/视频/数据通信 提供抽象的信令接口以轻松切换实现 公开用于C ++和C＃的API以集成到现有应用中 提供一组Unity3D组件，用于快速原型制作和集成 包括对Microsoft HoloLens （x86）和Microsoft HoloLens 2 （ARM）的支持 允许轻松使用来流化用户的视点以实现多设备体验 MixedReality-WebRTC是开发和维护的存储库集合的一部分。 下载 NuGet（C ++，C＃）和UPM（Unity）软件包可用于稳定版本（ release/*分支）。 有关详细信息，请参见的或。 注意： master分支包含下一版本的代码，因此有时会包含最新稳定版本中API的重大更改。 因此，不能保证使用仅适用于稳定版本的NuGet软件包。 特别是，如果从release/*分支复制，则仅保证Unity库脚本与NuGet包兼容，尽管强烈建议改用UP
手把手实现WebRTC音视频通话
chezabo6116的博客
08-12 894
webrtc
Hololens2远程音视频通话与AR远程空间标注，基于OpenXR+MRTK3+WebRTC实现
qq_33547099的博客
04-09 1991
【代码】Hololens2远程音视频通话与AR远程空间标注，基于OpenXR+MRTK3+WebRTC实现。
Hololens上使用微软的MixedReality-WebRTC音视频通讯踩坑记录
weixin_42304838的博客
03-22 4517
记录一下unity开发HoloLens2使用MixedReality-WebRTC遇到的一些问题。 1.我使用的Unity版本是2020.3，根据官方教程，2019+下载这两个文件后使用Add package from tarball 直接添加tgz包。然而我的2020版本使用这个方法不行，需要使用2018版本的导入方式，将讲个文件解压，使用Add package from disk...添加解压文件夹中的Json文件。 官方教程翻译 2 .Unity设置 （1）Other Settings
实现HoloLens2与PC端实时视频流通信（MixedReality-WebRTC）
最新发布
u012968985的博客
04-28 383
PC 客户端可以看到本地摄像头视频流（两个PC端作为对等体本地画面和远程画面都正常），但HoloLens 2 端无法看到本地摄像头视频流。其中，信令服务器部署在一台云服务器上，PC客户端部署在本地电脑上，云服务器需要有备案域名，我这里是放在局域网内的。PC 客户端收到 Offer，设置 SDP，生成 Answer。HoloLens 2 客户端连接信令服务器，并发送 Offer。HoloLens 2 客户端收到 Answer，设置 SDP。对 ARM64 支持的概述和路线图的相关讨论。
Hololens2开发笔记-MixedReality-WebRTC的使用问题
Apple_Coco的博客
03-10 2334
很可惜，目前 MixedReality-WebRTC 和 HoloLens2ForCV 不能同时在一个 Unity 项目使用。因为 MixedReality-WebRTC 只支持 ARM 构建，而 HoloLens2 的研究模式只能在 ARM64 下构建：ARM Support。GitHub 关于这些问题的讨论如下： mrwebrtc could not be found on HL2 / Unable to load DLL ‘mrwebrtc’ 关于此问题的相关讨论 mrwebrtc could no
HoloLens2开发笔记-使用UWP原生MediaCapture解决图像捕获与WebRTC视频流冲突问题
Apple_Coco的博客
05-09 3253
文章目录前言关键代码代码中的不足 前言 真的太开心了，查阅了很多文档终于解决了这个问题。 事情的起因是由于我在项目中使用了 MixedReality-WebRTC 库实现与 Web 端的实时音视频通讯，同时呢，还在项目中使用了 Unity 封装好的 Windows API 实现图像捕获功能（详情可看：Hololens2开发笔记-捕获照片到内存并上传至服务器 这篇文章），并将图像数据上传到云端。在实践的过程中就出现了问题了，它俩居然是冲突的 emmmm 当 HoloLens2 在和 Web 端进行实时音视频通
关于在Hololens上使用微软的MixedReality-WebRTC实现音视频通话教程
Jason的博客
09-24 7131
一、开始前说一下，在制作这个Demo过程中面临了无数坑、碰壁，为了后来者更快上手，写这篇blog，中间可能会有别的问题，暂时没记录到，后面遇到再说，这篇文章主要讲怎么把mrwebrtc用在hololens上，我使用的是hololens2（unity开发），所以直接选择的ARM框架打包。 二、正式开始。 1.首先需要下载MixedReality-WebRTC的库文件，链接：https://github.com/microsoft/MixedReality-WebRTC 注意：下载时下载两个文件，一个库文
基于Web-RTC的Hololens实时通讯系统
l7y10000的博客
05-08 1115
最近在做老师的项目，要求我们实现混合现实设备之间和混合现实与PC端的实时通讯，并要集成到项目中，最后发现网上关于这方面的资料不多，大部分也只是很零散的点，想整理一下我这边的开发流程。
Hololens2开发笔记-快速实现一个实时时间显示模块（unity）
Apple_Coco的博客
03-15 1141
文章目录前言环境创建项目配置项目编写实时时间自动更新脚本创建 TextMeshPro 对象并挂载脚本让对象跟随头部移动打包、构建和部署结果展示 前言 补充一些 Unity 开发和 Hololens 开发的基础知识，包括 TextMeshPro 文本更新，对象如何跟随头部移动等。 环境 Hololen2 Windows 10 Unity 2019.4.20f1c1 Visual Studio 2019 MRTK 2.5.4 创建项目 配置项目 在菜单栏“File -> Build Settin
探索MixedReality-WebRTC：开启混合现实通信新纪元
gitblog_01136的博客
09-03 700
**MixedReality-WebRTC** 是由微软Mixed Reality Sharing团队开发并维护的一套开源库，旨在为混合现实应用开发者提供简便的点对点实时音视频通信功能。该项目支持多轨道的音频、视频及数据传输，并提供了C++和C#的API接口，以及Unity3D组件，极大地方便了开发者在现有应用中快速集成实时通信功能。 ## 项目技术分析 MixedReality-WebRTC...
HoloLens2开发教程之实时音视频通信
Apple_Coco的博客
10-07 3155
HoloLens2开发教程之实时音视频通信 课程介绍 本课程将手把手带你开发一个HoloLens2应用，实现HoloLens2设备间，以及HoloLens2与Web浏览器间的实时音视频通信。课程涉及开发环境安装、应用部署、Bug排查等知识和技巧。 课程收获 配置HoloLens2开发环境 创建和部署HoloLens2应用程序 实现HoloLens2间的实时音视频通信 实现HoloLens2与Web浏览器间的实时音视频通信 程序Bug的排查技巧 适用人群 Unity开发者，以及想要入门HoloLens2
Hololens2初入——解决HL真机到PC图像传输的实时性问题
scy261983626的博客
05-03 3956
文章目录Hololens2初入——解决HL真机到PC图像传输的实时性问题引言正文解决方案具体方案示例动图原工程的一个小问题 Hololens2初入——解决HL真机到PC图像传输的实时性问题 引言 在我的博客Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）中介绍了如何通过无线传输的方式，将HoloLens2中的前景彩色图像和深度图像传输到PC端，并通过python的脚本进行接收。 这部分功能的实现来自一个大佬github工程。但是在之前，一直存在着图像传输延时性太高的问题。
MixedReality-WebRTC 项目教程
gitblog_00013的博客
09-03 485
MixedReality-WebRTC 项目的目录结构如下： ``` MixedReality-WebRTC/ ├── docs/ ├── examples/ ├── libs/ ├── scripts/ ├── src/ ├── tests/ ├── .gitignore ├── .gitmodules ├── LICENSE ├── README.md └── package.json ``...
评论 54
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Apple_Coco

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值