AI视频功能开发——视频主体突出方案开发教程

最新推荐文章于 2025-11-24 18:29:32 发布

原创最新推荐文章于 2025-11-24 18:29:32 发布 · 1.6k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #智能硬件 #API #AI硬件 #AI宠物 #AI视频 #开发教程

概览

视频主体突出方案 On-App AI

痛点分析

当前监控系统存在显著问题：

主体占比过低：广角镜头配合高位安装，导致拍摄主体在画面中占比不足；
细节辨识困难：关键主体因尺寸过小而无法清晰识别；

原始视频

解决方案

目标检测：通过移动端AI实时识别画面主体；
智能放大：采用图像算法对目标区域进行自适应放大；
视频处理：完成编码封装后输出优化视频；

主体突出视频

核心优势

精准聚焦：自动识别并突出画面主体；
智能处理：全流程自动化无需人工干预；
高效运算：适配主流移动端计算能力；

应用场景

场景类型	典型应用
家庭监护	婴儿看护/宠物监控
户外记录	喂鸟器/狩猎摄像机
自然观测	日出日落记录

前置知识

商务依赖

产品商务合作依照涂鸦增值服务商务流程执行。

如需了解更多关于 AI 能力的内容，请提交工单咨询。

开发依赖

小程序开发

App依赖：涂鸦智能、智能生活App版本为 6.5.0 及以上；
小程序模版依赖：视频流隐私保护 API 集成于 IPC 精彩时刻小程序模版

IPC 精彩时刻通用方案介绍，可查阅IPC 精彩时刻通用方案介绍
IPC 精彩时刻小程序模版相关开发细则请参考IPC 精彩时刻小程序模版接入指南

设备 SDK 开发

涂鸦 AI 视频流方案基于涂鸦智能 IPC 功能基础。使用视频流 AI 方案，需要先对接 IPC SDK，设备端方案请参考 IPC_SDK 开发。

能力集

视频文件导入导出能力

导入本地视频资源

功能：主要支持 C 端用户通过以下两种途径进行视频素材的导入：
1.直接唤醒手机相机录制视频素材。
2.导入手机相册内已有视频素材。
接口详情：chooseMedia

视频预标准化处理

功能：主要用于格式化源视频资源分辨率与角度，避免不同分辨率与角度造成后续AI处理流程中出现异常情况。
接口详情：clipVideo

视频 AI 生成后导出

功能：主要用于支持 C 端用户完成视频素材编辑后将视频转存至手机相册。
接口详情：saveVideoToPhotosAlbum

👉 AI开发入口

音频交互相关能力

获取涂鸦默认背景音乐

功能：目前模版提供部分默认背景音乐供开发者获取、使用，后续音乐内容将进行扩充。
接口详情：backgroundMusicList

下载涂鸦默认背景音乐

功能：下载涂鸦在线背景音乐至app本地沙盒。
接口详情：backgroundMusicDownload

音乐资源控制实例

功能：主要用于播放、暂停背景音乐，用于用户试听体验。
接口详情：createInnerAudioContext

AI 视频流处理功能

创建 AI 视频流处理实例 On-App AI

功能：初始化AI 视频流处理实例
接口详情：objectDetectCreate

销毁 AI 视频流处理实例 On-App AI

功能：销毁AI 视频流处理实例，避免内存泄漏
接口详情：objectDetectDestroy

宠物\人像主体突出、视频流背景音乐编辑 On-App AI

功能：
- 1.根据入参，对视频流中相应主体进行突出处理。
- 2.根据背景音乐素材以及混音比例，为视频新增自定义背景音乐。
接口详情：objectDetectForVideo

取消视频流编辑操作 On-App AI

功能：中断正在进行中的AI 视频流处理操作
接口详情：objectDetectForVideoCancel

AI 处理进度监听函数 On-App AI

功能：监听目前AI 视频流的生成进度
接口详情：onVideoObjectDetectProgress

取消 AI 处理进度监听函数 On-App AI

功能：取消AI 视频流生成进度监听函数
接口详情：offVideoObjectDetectProgress

教程内容

基础入门开发

关于如何入门小程序面板开发，如果您是第一次接触小程序，请参考本教程开始入手详情。

AI 视频流主体突出

关于如何开发 AI 视频流主体突出功能示例模版，请参考详情。

关键依赖模块

区域：
- 全区可用
App 版本：
- 涂鸦 App、智能生活 App v6.5.0 及以上版本
Kit 依赖：
- BaseKit: v3.0.6
- MiniKit: v3.0.1
- DeviceKit: v4.0.8
- BizKit: v4.2.0
- AIKit: v1.1.0
- baseversion: v2.26.7
组件依赖：
- @ray-js/panel-sdk: "^1.13.1",
- @ray-js/ray: "^1.6.29",
- @ray-js/ray-error-catch: "^0.0.25",
- @ray-js/smart-ui: "^2.1.5",
- @ray-js/cli: "^1.6.1",

概述

示例模版是为了降低开发者接入 App AI 的难度，整理了通用的视频处理能力并对外提供相应的示例源码。

原始视频

模版主要涵盖功能

视频基本交互功能：
- 视频导入
- 视频导出
- 视频首帧渲染
- 视频播放暂停
- 视频进度条
音频基础交互功能：
- 获取默认背景音乐
- 展示默认背景音乐列表
- 试听默认背景音乐
AI 视频流处理功能：
- 宠物主体突出（支持猫、狗、鸟等 80 余种动物）
- 人像主体突出
- 视频流添加背景音乐
- 调节混音（视频原声、背景音乐）权重

附录

模块集

视频资源导入

AI视频开发方案，资源导入步骤

功能介绍

视频资源在初始化导入阶段依赖以下两个关键能力：

1.用户素材采集
- chooseMedia :支持C端用户通过实时录制视频或从手机相册导入的方式，提交原始视频素材。
2.视频预标准化处理
- clipVideo :自动统一源视频的分辨率与角度，避免因格式差异导致后续AI视频生成流程出现异常。

交互流程

注意事项

1.在使用 chooseMedia API时，为更好的兼容IOS、安卓双端系统，请默认将参数 isFetchVideoFile 传入true;
2.在使用 clipVideo API时
- （1）参数 endTime 的时间单位为毫秒，而 chooseMedia API返回的视频时长为妙，请注意单位转换;
- （2）参数 level 表示目标视频的压缩分辨率等级：
  - 1 代表480854 码率：15721000
  - 2 代表540960 码率：21281000
  - 3 代表7201280 码率：31451000
  - 4 代表10801920 码率：35001000
  - 为确保输出视频的清晰度，此入参建议选用4。