【1】coreML入门之结合ARKit场景展示

本文介绍了如何结合ARKit和CoreML使用Resnet50模型在iOS设备上进行物体识别。首先,确保使用Xcode9及A9以上设备并运行iOS11以上系统。然后,通过ARKit追踪和理解现实环境,接着利用Resnet50模型进行物体识别。文章详细阐述了从下载模板到导入mlmodel,再到实现点击屏幕识别物体并显示识别结果的五个步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在iPhone上玩AR,可是有条件的哦:
1、Xcode9
2、一台搭载了A9晶片的设备(6s及其以上设备)
3、iOS11及其以上系统

一般来说AR应用都有两个步骤:
1、处理、追踪、了解现实世界的环境
2、渲染、展示场景的虚拟物件

第一步是透过追踪引擎处理,也就是ARKit。
第二步是通过渲染引擎处理,比如SceneKit被用来渲染3D图形,SpriteKit用于2D渲染,Metal用于自定义呈现。

下面让我们开始我们的ARKit之旅吧~

==========================================

使用Resnet50对我们周边的物件进行文字展示其识别出来的名字

STEP1

打开苹果的机器学习的模板官网 https://developer.apple.com/machine-learning/

找到Resnet50这个模板.这个模板可以识别出大约1000种我们常见的事物。

点击下载。懒人下载专用链接:http://pan.baidu.com/s/1nuLgTmT 密码:hxk2

下载后我们打开Resnet50.mlmodel

我们可以看到,我们的输入是224 * 224 的像素点,输出的是对这个物品的猜测(classLabel)以及可信度(classLabelProbs)。

STEP2

选择选中的模板。语言选择swift,点击创建。

STEP3

导入我们下载好的mlmodel

Xcode有个bug,有时候我们扔进去并没有真正的引用。导致我们var resentModel = Resnet50()初始化的时候,提示我们unresolved identifier

我们进去看一下检查是否真的引用了。

课程介绍 本套课程从技术理念到项目实践,教大家系统掌握ARKit技术开发,随心打造iOSAR增强现实应用。由一开始的开发环境搭建,到Unity ARKit Plugin、ARFoundation ARKit等不同时期技术的讲解。从平面模型放置、识别图片、手势交互、3D物体识别、面部AR贴纸、光照估计、环境探针、多人AR技术,甚至包含ARKit3.0的动作捕捉技术等。除了以上课程内容,更加入了随着技术更新与时俱进更新的ARKit连载技术教学内容。课程收益 轻松理解ARKit的技术原理,从零到一创建自己的第一个AR项目。学习UnityARKit Plugin经典技术,了解ARKit中的常见概念和原理。学会在 ARFoundation 中使用ARKit,进行企业级AR项目开发。学会如何在AR项目里播放模型动画,通过触屏手势交互实现模型的旋转和缩放。 了解ARKit的图片识别,掌握AR卡片、AR书籍的实现方法。 学会使用面部增强技术,实现热门短视频应用的AR贴纸效果,实现面部表情追踪。学会使用ARKit物体检测技术,实现3D物体识别,可以广泛应用于工业、建筑、古董、玩具手办、艺展览等不同场景。学习ARKit中的经典交互案例,优化AR项目的用户体验。熟练使用环境纹理、光照估计技术,让AR内容随当前现实场景自动变化调节,看起来更加真实。基于WorldMap、CollaborativeSession AR技术,实现AR场景的持久化及多人AR体验效果。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值