使用HoloLens 2调用深度相机和前置摄像头

原创 2022-09-20 12:15:50 2.9k 阅读 AI写同款
收录于
Unity

当前文章被收录于：

Unity
38 篇文章 14 人学习
订阅专栏 查看详情
━═━═━◥ MR ◤━═━═━

当前文章被收录于：

━═━═━◥ MR ◤━═━═━
29 篇文章 2 人学习

以实战为线索，VR与AR混合开发，包括视觉SLAM和计算机视觉相关

订阅专栏 查看详情
极客范儿
极客范儿 博客等级 码龄12年 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2.9k累计阅读 3k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要
1万+粉丝341篇原创
关注
【Hololens2目标检测】YoloDetectionHoloLens-Unity项目发布记录 这是一个使用Hololens进行目标检测的项目。Hololens端负责采集和显示，电脑端处理图像，并标注，将标注框传回Holo端进行显示。具体的项目发布流程，在项目中都有介绍，这篇文章主要记录一下作者没有提到的具体步骤和我在发布过程中遇到的错误，和解决方案。 阅读详情
AI摘要

本文介绍如何在HoloLens2上实现传感器流的实时可视化，包括深度摄像头、灰度摄像头及IMU数据的展示，并提供从环境搭建到部署的详细步骤。

实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。

文章目录

一、平台环境

1、PC环境

  • 系统版本：Windows 10 SDK 10.0.18362.0
  • Visual Studio 版本 ：Visual Studio 2019 16.11.18
  • MRTK版本：2.7
  • Unity版本：2019.3.11
  • 开发者模式

2、HoloLens 2环境

  • 开发者模式
  • 打开研究者模式(Research mode)

在这里插入图片描述

二、工程展开

1、下载工程

在GitHub官方例程下载数据

2、解压文件

Docs是指南，Samples是代码示例

3、生成文件

HoloLens2ForCV-main -> Samples -> SensorVisualization找到SensorVisualization.sln文件，选择 Debug模式和ARM64的架构，然后生成（Build）
在这里插入图片描述

4、通过 USB 构建和部署，请选择设备(Device)

在这里插入图片描述

5、调试程序开始部署

在HoloLens 2上启动 SensorVisualization 应用，显示可视化传感器

在这里插入图片描述

三、总结

这个示例是一个全息UWP应用程序，演示了在设备上实时可视化传感器流。它显示了来自两个前头部跟踪摄像头的帧的可视化，深度和AB帧的深度摄像头，以及IMU加速度的可视化为3d坐标系的长度。

标签
#hololens
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理 文章目录HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理引言基础环境配置流程录制数据并导入到电脑端Python 处理数据转换图片格式保存为点云 HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理 引言 倒腾这个工程的目的其实只是为了学习如何将depth图片和彩色图像对齐。因为我实际的需求是在线处理，如何在线获得相关数据已经在博客的另外一篇进行了说明。 这边其实是介绍一下官方的工程如何使用。 基础环境 软件环境见博客其它文章 官方工程 阅读详情

相关推荐

Hololens2初入——调用深度相机和前置摄像头的Demo

文章目录Hololens初入——真机发送传感器数据，PC端Python接收基础条件问题记录未找到System类型的命名空间 Hololens初入——真机发送传感器数据，PC端Python接收 基础条件 问题记录 未找到System类型的命名空间 问题图： 原因： 应该是工程里面没有添加system的程序集，（C# 里面一般称为程序集，其实就是相当于包） 解决： 参考: ...

scy261983626的博客 5898

HoloLens2 Visible-Light Tracking Camera (VLC) 内参获取

HoloLens2 Visible-Light Tracking Camera (VLC) Intrinsics HoloLens2 灰度相机相机内参获取

皮皮#2500 1839

HoloLens2初入——打开研究者模式（Research mode）

文章目录HoloLens2初入——打开研究者模式（Research mode）引言流程1 加入微软Win10的预览计划流程2 在浏览器中打开研究模式 HoloLens2初入——打开研究者模式（Research mode） 引言 关键信息 研究模式和记录模式不一样！ （不同于recording mode） 没有加入微软预览内测的用户在HoloLens2的网页上是看不到研究模式的。 为了访问设备的前置摄像头、深度相机等较为底层的设备，需要开启研究者模式。 为了方便，下面统称HoloLens2设备为HL2 流

scy261983626的博客 3052

HoloLens2开发教程

讲授使用Unity和MRTK开发HoloLens2上的MR应用，内容包括HoloLens2设备硬件、MRTK架构、常用功能（设备门户、拍照录像、研究模式、诊断系统等）、组件与事件、UX元素、手势交互、语音命令、凝视交互、光影效果、3D空间音效视频、云操作、设计原则、性能优化等。课程从入门到实践，细致讲解HoloLens2设备上的MR应用开发。 

AR空间锚点稳定性实战：亚厘米级动态锚链架构

增强现实（AR）的核心挑战在于虚实融合的时空一致性，其本质是空间锚点的长期稳定与跨设备协同。传统SLAM或云锚点方案受限于环境适应性、网络依赖与物理漂移，难以满足工业级精度需求。本方案提出轻量级‘动态锚链’架构，通过硬质特征点约束、声波-视觉联合校准及物理驱动渲染，在消费级设备上实现亚厘米级定位稳定性与离线鲁棒性。技术价值体现在降低AR落地门槛、提升人机自然交互可信度，并支撑工业维修、医疗导航、电力抢修等强实时、高可靠场景。本文聚焦空间锚点稳定性这一AR工程化核心瓶颈，提供可复用的校准框架与避坑指南。

weixin_30388677的博客 417

HoloLens中的视觉SLAM介绍

HoloLens是微软在2015年1月22日凌晨发布的一款头戴式的便携全息计算机设备。不同于VR眼镜，HoloLens直接在现实世界中呈现出一些虚拟的全息投影，即混合现实，不仅增强了真实感，还提供了一种新的人与现实世界交互的方式。 HoloLens与用户的交互主要有以下三种方式： 1、凝视（gaze） HoloLens可以探测到用户视线的焦点所在从而做出一些判断和反应。 2、手势（gesture）...

qq_33511693的博客 5046

hololens2调用深度相机和前置摄像头

下载 microsoft/HoloLens2ForCV: Sample code and documentation for using the Microsoft HoloLens 2 for Computer Vision research. (github.com) 此为官方demo 部署 参考 Hololens2初入——调用深度相机和前置摄像头的Demo_scy261983626的博客-优快云博客 Hololens2初入——解决HL真机到PC图像传输的实时性问题_scy261983626的博客

qq_37350725的博客 1742

HoloLens2ForCV:使用Microsoft HoloLens 2进行计算机视觉研究的示例代码和文档

目的 HoloLens 2研究模式可访问设备（深度摄像头，灰度摄像头，IMU）上的原始流。 通过发布研究模式API以及一系列工具和示例应用程序，我们希望更轻松地将HoloLens 2用作功能强大的计算机视觉和机器人技术研究设备。 该项目在ECCV 2020上启动。我们计划随着时间的推移扩展该项目，并欢迎研究界的贡献。 内容 该存储库包含有关HoloLens 2研究模式的文档和示例。 查看以熟悉新的HoloLens 2研究模式API。 查看的以获取有关“研究模式”及其主要功能的详细信息，阅读有关如何设置设备的信息，并了解如何使用此存储库中的应用程序。 查看此，以了解研究模式。 该存储库包含四个示例应用程序： 显示设备上实时显示的深度和灰度摄像机坐标系的可视化。 显示了如何处理设备上实时存在的研究模式流：它使用OpenCV检测两个前置灰度摄像机中的arUco标记并对检测进行三角

Hololens2开发笔记-运行研究模式官方案例（SensorVisualization）

参考：Hololens2初入——调用深度相机和前置摄像头的Demo 可能碰到的问题： 生产解决方案失败：The max version tested value must not be less than the min version value. 原因：自己安装 VS2019 时指定的 Win SDK 版本是 10.0.18362.0，而 SensorVisualization 这个官方 Demo 里配置的 Win SDK 版本是 19041.1.191206，所以就会导致那个报错。 解决方法：很简

Apple_Coco的博客 1031

使用STM输出互补SPWM波(三相各差120°)

使用STM32输出SPWM波形(三相各差120°)

hello011102的博客 7372

从隐式求解器到显式求解器：COMSOL接触仿真中的求解策略对比与选择

本文深度解析了COMSOL中隐式与显式求解器在接触仿真中的应用与选择策略。针对非线性接触问题的核心挑战，详细对比了两种求解器的数学框架、优化技术及适用场景，并提供了参数调优和调试技巧，帮助工程师高效解决接触仿真中的收敛问题。

weixin_28347369的博客 681

Hololens2-OpenXR开发（四）-坐标系同步

Coordinate System Synchronization with Holographic Remoting and the OpenXR API 本文是根据官方示例的学习笔记 https://docs.microsoft.com/en-us/windows/mixed-reality/develop/native/holographic-remoting-coordinate-system-synchronization-openxr 为了结合计算机视觉相关任务，统一眼镜端坐标系和渲染的虚拟

AplusX 4714

基于AI Agent的数据治理实战：从架构设计到企业级落地

数据治理是确保企业数据质量、一致性与安全性的核心实践，其核心原理在于通过规范、流程与技术工具对数据进行全生命周期管理。传统人工治理模式效率低下且难以规模化，而大语言模型（LLM）与智能体（Agent）技术的发展，为数据治理的自动化与智能化带来了突破。通过将自然语言理解、任务规划与工具调用能力相结合，AI Agent能够将治理规则“代码化”与“智能化”，实现从被动响应到主动发现的模式转变。在应用场景上，AI Agent可扮演智能数据专员角色，自动执行元数据问答、数据质量探查、口径对齐等任务，显著提升数据团队效

weixin_34008805的博客 418

2021-08-05

Hololens2获取IMU数据和图像数据目录写在前面开发环境使用方法代码链接 目录 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 写在前面 在经历了几周的不断探索，在两位前辈HoloLens2-ResearchMode-UnityPlugin和HoloLens2-Unity-ResearchModeStreamer的基础上成功的将Hololens2的IMU、RGB、深度相机的数

qq_28588941的博客 348

【YOLOv8实战】从零构建番茄成熟度智能检测GUI系统【附完整工程】

本文详细介绍了从零构建基于YOLOv8的番茄成熟度智能检测GUI系统的完整实战流程。内容涵盖环境搭建、数据集准备、模型训练调优，并重点讲解如何使用PyQt5开发图形界面，最终将项目打包为可执行文件，实现AI模型从训练到桌面应用落地的完整工程闭环。

xxx12的博客 820

基于python+flask框架的基于微信小程序的CR公司建设项目信息管理系统-前台（开题+程序+论文） 计算机毕设

特别是随着移动互联网技术的普及，企业对便捷、高效的信息管理系统的需求日益迫切。另一方面，该系统集成了仓管、物料、财务、人事、供应商等多个模块，实现了数据的集中管理和信息共享，有助于企业实现精细化管理，降低运营成本，提升决策效率。：深入调研CR公司的业务需求，明确系统应具备的功能模块，包括仓管员管理模块（物料信息、退回记录、申请信息、仓库信息管理）、财务员管理模块（资金信息管理、采购与租赁款项处理）、人事管理模块、供应商管理模块、项目管理模块（项目信息、设备采购、物料采购、设备租赁）、以及考勤打卡模块等。

zhihao503的博客 959

Hololens2开发笔记-研究模式API文档翻译

文章目录综述大纲主传感器读取循环传感器类型相机传感器惯性传感器传感器坐标帧传感器传感器帧VLC帧载荷AHAT和长抛摄像机帧载荷长抛失效AHAT无效IMU帧载荷同意提示设置要求清单条目API参考设备接口传感器接口传感器帧同意接口 综述 第一代 HoloLens 引入了研究模式，研究不用于部署访问设备上的关键传感器的应用程序。HoloLens2 的研究模式保留了 HoloLens1 的功能，增加了对额外流的访问。同样，对于第一个版本，可以从以下输入中收集数据: 可见光环境跟踪摄像机-系统用于头部跟踪和地图创建

Apple_Coco的博客 3707

YOLOv5改进——添加SimAM注意力机制

这样可以使注意力机制看到整个backbone部分的特征图，将具有全局视野，类似于一个小的transformer结构。注意：很多改进教程都是将代码直接复制到common.py文件，如果改进机制多了容易造成混乱。在models文件夹下新建modules文件夹，在modules文件夹下新建一个py文件。这里为simam.py。在models文件夹下，复制yolov5s.yaml文件，粘贴并重命名为yolov5s-simam.yaml。运行yolo.py，出现刚刚加入的SimAM注意力机制，说明加入成功。

2302_80099075的博客 1653

探索未来视觉体验：微软HoloLens 2 for CV项目详解

是一个开源项目，它为开发者和研究人员提供了一套工具和示例代码，以便在混合现实环境中利用计算机视觉（CV）技术。结合强大的微软HoloLens 2设备，此项目旨在推动AR/VR技术和智能应用的新边界。 ## 技术分析 ### HoloLens 2硬件优势 HoloLens 2采用了先进的光学系统，能够呈现高分辨率、高透明度的全息图像，并通过内置的深度传感器实现对现实世界的精确感知。它还配备了高

gitblog_00073的博客 592

VHDL语法学习笔记：一文掌握VHDL语法

今天给大侠带来FPGA 之 VHDL 语法学习笔记，话不多说，上货。 VHDL语法学习笔记 一、VHDL简介 1.1 VHDL 的历史 VHDL 的 英 文 全 名 是 Very-High-Speed Integrated Circuit Hardware DescriptionLanguage，诞生于 1982 年。 1987 年底，VHDL 被 IEEE 和美国国防部确认为标准硬件描述语言。自 IEEE 公布了 VHDL 的标准版本 IEEE-1076（简称 87 版）...

2万+

NLTK中WordNet与同义词处理

通过本教程，学习了如何使用NLTK中的WordNet进行自然语言处理任务。首先介绍了WordNet的基本概念及其在NLTK中的集成使用，接着讲解了如何查找同义词、反义词等词汇关系，并结合实际应用演示了语义相似性计算。这些技能在文本分析、情感分析、信息检索等场景中有广泛应用，可以帮助开发者构建更智能的自然语言处理系统。掌握这些基本操作后，可以进一步探索WordNet的其他高级功能，结合其他NLTK工具进行更复杂的语言分析。

Mr数据杨 471

微软HoloLens2ForCV：推动混合现实中的计算机视觉研究

**微软HoloLens2ForCV** 是一个开源项目，专为研究人员和开发者设计，旨在利用Microsoft HoloLens 2设备进行高级的计算机视觉研究。项目基于C++语言，同时也融入了Windows Mixed Reality与HoloLens 2的特性，支持Direct3D及Windows Perception APIs。通过提供详尽的文档和一系列样例应用，本项目降低了在增强现实中实施

gitblog_09187的博客 475

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

HoloLens2ForCV 项目教程

1. **HoloLens 2 官方示例**：微软提供的官方示例项目，涵盖了多种应用场景和技术。 2. **社区贡献项目**：社区开发者贡献的项目，包括各种扩展和优化。 通过这些项目和资源，开发者可以更深入地了解和应用 HoloLens 2 的研究模式功能，推动计算机视觉和机器人技术的发展。

gitblog_00143的博客 471

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

Hololens2开发笔记-运行研究模式官方案例（CameraWithCVAndCalibration）

这个 Demo 用到了 OpenCV 库，预感在构建的过程中可能会出现一些其他的问题，果然哈哈 可能出现的问题： 错误 LNK1107 文件无效或损坏: 无法在 0x86 处读取 CameraWithCVAndCalibration。问题截图如下： GitHub 上关于此问题的讨论：OpenCV lib corrupt #66 这个问题可能由两个原因引起的： 直接下载仓库的 ZIP 文件，而不是直接 Clone 获取该仓库； 没有运行 git lfs install 命令。 实际上，在 Camer

Apple_Coco的博客 1073

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

基于Unity的Hololens2与服务器进行Json、模型以及视频流传输实战（个人Hololens2进阶开发总结）

基于Unity的Hololens2访问下载链接实现Json、模型以及视频流传输

rikeilong的博客 3286

HoloLens2ForCV 项目安装和配置指南

### 项目基础介绍 HoloLens2ForCV 是由微软开发的一个开源项目，旨在为计算机视觉研究提供在 HoloLens 2 设备上访问原始数据流（包括深度摄像头、灰度摄像头和 IMU）的示例代码和文档。通过发布研究模式 API 以及一系列工具和示例应用程序，该项目希望更轻松地将 HoloLens 2 用作功能强大的计算机视觉和机器人技术研究设备。 ### 主要编程语言 该项目主要使用 C+

gitblog_09407的博客 666
上一篇： HoloLens 2上使用Azure空间定位点
下一篇： HoloLens2的彩色和深度数据流通过主机获取
点赞 3
评论 3
书签 书签 21
极客范儿
极客范儿 新星创作者: 游戏开发技术领域 新星创作者: 游戏开发技术领域 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄12年 1万+粉丝 341原创
+ 关注 专栏目录 订阅专栏
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客范儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值