使用HoloLens 2调用深度相机和前置摄像头

原创 已于 2022-09-20 12:15:50 修改 · 2.7k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hololens

于 2022-09-20 08:40:53 首次发布
本文介绍如何在HoloLens2上实现传感器流的实时可视化，包括深度摄像头、灰度摄像头及IMU数据的展示，并提供从环境搭建到部署的详细步骤。

实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。

文章目录

一、平台环境

1、PC环境

  • 系统版本：Windows 10 SDK 10.0.18362.0
  • Visual Studio 版本 ：Visual Studio 2019 16.11.18
  • MRTK版本：2.7
  • Unity版本：2019.3.11
  • 开发者模式

2、HoloLens 2环境

  • 开发者模式
  • 打开研究者模式(Research mode)

在这里插入图片描述

二、工程展开

1、下载工程

在GitHub官方例程下载数据

2、解压文件

Docs是指南，Samples是代码示例

3、生成文件

HoloLens2ForCV-main -> Samples -> SensorVisualization找到SensorVisualization.sln文件，选择 Debug模式和ARM64的架构，然后生成（Build）
在这里插入图片描述

4、通过 USB 构建和部署，请选择设备(Device)

在这里插入图片描述

5、调试程序开始部署

在HoloLens 2上启动 SensorVisualization 应用，显示可视化传感器

在这里插入图片描述

三、总结

这个示例是一个全息UWP应用程序，演示了在设备上实时可视化传感器流。它显示了来自两个前头部跟踪摄像头的帧的可视化，深度和AB帧的深度摄像头，以及IMU加速度的可视化为3d坐标系的长度。

HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理
scy261983626的博客
04-14 3618
文章目录HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理引言基础环境配置流程录制数据并导入到电脑端Python 处理数据转换图片格式保存为点云 HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理 引言 倒腾这个工程的目的其实只是为了学习如何将depth图片和彩色图像对齐。因为我实际的需求是在线处理，如何在线获得相关数据已经在博客的另外一篇进行了说明。 这边其实是介绍一下官方的工程如何使用。 基础环境 软件环境见博客其它文章 官方工程
【Hololens2目标检测】YoloDetectionHoloLens-Unity项目发布记录
weixin_44338714的博客
04-17 2920
这是一个使用Hololens进行目标检测的项目。Hololens端负责采集和显示，电脑端处理图像，并标注，将标注框传回Holo端进行显示。具体的项目发布流程，在项目中都有介绍，这篇文章主要记录一下作者没有提到的具体步骤和我在发布过程中遇到的错误，和解决方案。
HoloLens2ForCV 项目安装和配置指南
最新发布
gitblog_09407的博客
09-13 606
HoloLens2ForCV 项目安装和配置指南 1. 项目基础介绍和主要编程语言 项目基础介绍 HoloLens2ForCV 是由微软开发的一个开源项目，旨在为计算机视觉研究提供在 HoloLens 2 设备上访问原始数据流（包括深度摄像头、灰度摄像头和 IMU）的示例代码和文档。通过发布研究模式 API 以及一系列工具和示例应用程序，该项目希望更轻松地将 HoloLens 2 用作功能强大的计...
HoloLens2ForCV:使用Microsoft HoloLens 2进行计算机视觉研究的示例代码和文档
04-12
目的 HoloLens 2研究模式可访问设备（深度摄像头，灰度摄像头，IMU）上的原始流。 通过发布研究模式API以及一系列工具和示例应用程序，我们希望更轻松地将HoloLens 2用作功能强大的计算机视觉和机器人技术研究设备。 该项目在ECCV 2020上启动。我们计划随着时间的推移扩展该项目，并欢迎研究界的贡献。 内容 该存储库包含有关HoloLens 2研究模式的文档和示例。 查看以熟悉新的HoloLens 2研究模式API。 查看的以获取有关“研究模式”及其主要功能的详细信息，阅读有关如何设置设备的信息，并了解如何使用此存储库中的应用程序。 查看此，以了解研究模式。 该存储库包含四个示例应用程序： 显示设备上实时显示的深度和灰度摄像机坐标系的可视化。 显示了如何处理设备上实时存在的研究模式流：它使用OpenCV检测两个前置灰度摄像机中的arUco标记并对检测进行三角
hololens2调用深度相机和前置摄像头
qq_37350725的博客
08-04 1594
下载 microsoft/HoloLens2ForCV: Sample code and documentation for using the Microsoft HoloLens 2 for Computer Vision research. (github.com) 此为官方demo 部署 参考 Hololens2初入——调用深度相机和前置摄像头的Demo_scy261983626的博客-优快云博客 Hololens2初入——解决HL真机到PC图像传输的实时性问题_scy261983626的博客
Holoens调用系统摄像头进行拍照
12-08
Hololens 进行调用相机拍照，将文件保存到本地文件夹，也可以直接转换成Texture2D,然后使用RaeImage直接显示，可以直接导入运行
python 简单照相机调用系统摄像头实现方法 pygame
12-24
如下所示： # -*- coding: utf-8 -*- from VideoCapture import Device ...speed = [2, 2] black = 0, 0, 0 if pygame.display.get_init(): print ("inited") else: print"notinit" pygame.displ
JS调用安卓手机摄像头扫描二维码
10-17
在本文中，我们将深入探讨如何使用JavaScript（JS）调用安卓手机摄像头来扫描二维码，并解析其内容。这个功能常用于创建类似微信“扫一扫”付款的H5应用，它允许用户直接通过网页进行二维码扫描，无需借助其他应用。...
C# winform调用本机摄像头demo 附源码
04-08
C# winform调用本机摄像头demo 附源码 c#调用本机摄像头，支持多摄像头切换，支持多分辨率切换，支持拍照，这是个demo程序，源码清晰简单。一共几十行代码。采用vs2012开发，winform程序
Android相机调用-libusbCamera【外接摄像头】【USB摄像头】 【多摄像头预览】
热门推荐
花花的笔记
02-23 1万+
有的自定义系统，对于自己外接的USB摄像头，android原生的camera和camera2都无法打开，CameraX也用不了。这时候就要用libusbCamera，这个库可以打开摄像头，还可以多摄像头同时预览。本文主要是同时打开3个USB摄像头的项目记录，详细的接口介绍请参见原博客。
HoloLens2-Machine-Learning:直接在HoloLens 2上使用深度学习模型进行图像分类
05-26
HoloLens-2-机器学习 使用在ImageNet 1000类数据集中训练的EfficientNetB0模型进行图像分类。 使用其板载CPU在HoloLens 2上直接运行模型推断。 关于 已在Unity 2019.4 LTS，Visual Studio 2019和HoloLens 2中进行测试 Rene Schulte的示例构建 输入大小为(224, 224)视频帧以进行在线推断 EfficientNetB0框架的预先训练过的TensorFlow-Keras实现被直接转换为ONNX格式以供本示例使用 运行样本 在Unity中打开示例 将构建平台切换到Universal Windows Platform ，选择HoloLens作为目标设备，并选择ARM64作为目标平台 生成Visual Studio项目并打开.sln文件 将onnx-models\model.onnx文件复制到Buil
Hololens2-PhotoVideoCapture.unitypackage
07-18
Hololens拍照，录像，保存到本地，并读取图片和播放录制的视频 https://blog.youkuaiyun.com/shanguuncle/article/details/81096477
微软新出的HoloLens 2将配备同级别的深度传感器
01-20
在 Build Day 1 开发者大会上，微软展示了一款全新的 Project Kinect for Azure 传感器，套件中包含了下一代景深摄像头、并且板载了 AI 处理能力。 该公司希望借助小型、低功耗的 Time of Flight 和附加传感器，显着提升 Azure AI 的洞察力和操作力。比如实现完全铰接的手部追踪、以及高保真的空间映射，从而将精度提升到新的级别。 　　　　在领英（ LinkedIn ）上， Alex Kipman 还证实了一件事 —— 第四代 Kinect 传感器，将出现在 Hololens 2 上。 该传感器的特性如下： 　　● 更高的像素（分辨率 1024
网页WEB调用本机USB摄像头
05-11
通过分析这些文件，你可以更深入地理解如何在实际项目中调用和使用USB摄像头。不过，由于这里没有提供具体的文件内容，无法给出详细代码解释。如果你需要更详细的指导，建议查看这些文件并根据上下文进行研究，或者...
Hololens2初入——调用深度相机和前置摄像头的Demo
scy261983626的博客
09-23 5809
文章目录Hololens初入——真机发送传感器数据，PC端Python接收基础条件问题记录未找到System类型的命名空间 Hololens初入——真机发送传感器数据，PC端Python接收 基础条件 问题记录 未找到System类型的命名空间 问题图： 原因： 应该是工程里面没有添加system的程序集，（C# 里面一般称为程序集，其实就是相当于包） 解决： 参考: ...
利用HoloLens2-Unity-ResearchModeStreamer获取Hololens2头盔彩色（以及深度）相机数据流
weixin_45318827的博客
06-12 1402
一：1.参考文章3.项目整理：ResearchModeStreamer3：只有彩色以及深度数据流的实验项目ResearchModeStreamer2：自己论文的项目，包含了彩色的数据流以及接收文本数 据、播放音频的版本。二：Hololens2头盔设置方法1.在头盔内->设置->更新于安全->开发者选项 其中开启开发者模式2.通过电脑连接 http://头盔IP地址 在其中开启研究者模式参考三：1.下载原项目，用VS2019打开设置。
HoloLens 网络摄像头
雷小帅的博客
11-15 1243
Hololens开发系列教程，知识点+实战讲解HoloLens2的常用API和功能模块。
HoloLens 升级到RS4后前摄像头拍照储存
xiuluowangzi的博客
06-10 584
using HoloToolkit.Unity.InputModule;using System;using System.Linq;using UnityEngine;using UnityEngine.Assertions;/// Manages taking and saving photos./// </summary>/// public class PhotoManager...
HoloLens2实现拍照
xiaoLongww的博客
03-31 5146
需求 要能在HoloLens2中，在使用unity发布的应用中，通过点击按钮来触发类似HoloLens系统的拍照效果。 环境 Visual Studio 2019 Unity2020.3.20f1c1 HoloLens2 方法列表 UWP应用中的MediaCapture类 unity中的PhotoCapture类 使用HoloLens2系统的原生拍照命令 调用HoloLens设备门户的Rest API 使用WindowsDevicePortalWrapper，即包装好的rest api 方法的用处与弊端
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客范儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值