AI视频解决方案——IPC精彩时刻通用方案开发流程

IoT砖家涂拉拉

于 2025-07-29 10:00:00 发布

阅读量616

点赞数 15

CC 4.0 BY-SA版权

文章标签：人工智能 AI音频 AI宠物语音识别 AI视频 AI IPC AI摄像头

本文链接：https://blog.youkuaiyun.com/Ms_Smart/article/details/149716777

概览

IPC 精彩时刻通用方案

方案介绍

IPC 精彩时刻功能，是涂鸦云开发者平台为所有带摄像头的智能硬件，专门打造的“AI 视频增值服务”，具体运转机制为：通过 AI 大模型自动识别预设的目标或自定义事件后，就能抓取摄像头中的精彩片段（如宠物卖萌互动、宝宝第一次走路、日出日落等），并一键生成带特效的专属 Vlog。能够满足婴儿/宠物看护、生活娱乐、风景旅行等全场景需求，帮助用户轻松记录生活中的高光时刻！

IPC 精彩时刻通用方案

On-App AI 赋能

为了帮助用户提高视频剪辑效率，涂鸦在 IPC 精彩时刻功能中，专门提供了丰富的 AI 能力模块，支持用户对视频进行二次处理。目前主要包括：对视频流主体进行 AI 突出、对视频隐私部分进行 AI 一键保护。

视频流主体突出：通过移动端AI实时识别画面主体，采用图像算法对目标区域进行自适应放大，完成编码封装后输出优化视频；

视频流主体突出

视频流隐私保护：精准识别画面中的特定对象，按需保留/处理不同区域，生成符合隐私要求的视频流；

视频流隐私保护

核心亮点

精准捕捉：涂鸦支持用户预设 IPC 所需捕捉的目标，如婴儿、猫、狗、鸟等；也可以自定义事件，如让智能 IPC 设备观察“门口人流量变化”、抓取“花盆开花的瞬间”等等。搭载强大的 AI 大模型，不仅能全天候抓捕关键画面，还支持定时抓拍设置（即在每天指定的时间点，实现自动抓拍）；
一键生成：涂鸦支持自动合成当天或 7 天内的精彩视频集锦，用户也可以快速预览该时间段内的历史视频集锦；
硬件零成本：用户无需升级摄像头硬件，就能即时享受该功能：付费后，用户将涂鸦公版 App 升级到 V6.4.0+ 版本即可自动开通，老设备也能秒变“智能神器”；

应用场景

场景化案例	方案简述
母婴品牌商	帮助无法时刻陪伴在身边、或抽不出空闲时间整理宝宝成长片段的家长，自动生成“宝宝每日精彩集锦”
宠物医院	针对铲屎官需要了解宠物日常行为记录的需求，该功能可以基于 AI 行为分析，以“周”为时间节点，自动剪辑合成"爱宠健康监管周报"视频
物业公司	可实时展示小区环境变化，并自动剪辑生成“园区四季景观延时视频”，打造更具吸引力的居住环境效果展示

前置知识

商务依赖

产品商务合作依照涂鸦增值服务商务流程执行。

如需了解更多关于 AI 能力的内容，请提交工单咨询。

开发依赖

小程序开发

App依赖：涂鸦智能、智能生活App版本为 6.5.0 及以上；
On-App AI依赖：视频主体突出方案、视频隐私保护方案：

设备 SDK 开发

涂鸦 AI 视频流方案基于涂鸦智能 IPC 功能基础。使用视频流 AI 方案，需要先对接 IPC SDK，设备端方案请参考 IPC_SDK 开发。

能力集

视频流通用接口

获取解密密钥

功能：以家庭维度获取文件解密密钥
接口详情：getStorageSecret

关联设备

功能：主要用于将精彩时刻服务与设备进行绑定或解绑。
接口详情：bindDevice

获取家庭摄像头设备列表

接口详情：getCameraList

查看单个设备设备详情

接口详情：getDeviceDetailsById

获取服务详情信息

接口详情：getServiceDetail

精彩时刻相关接口

删除精彩时刻录像文件

接口详情：albumFileDelete

保存精彩时刻配置

接口详情：albumSettingSave

获取精彩时刻智能视频日期统计数据

接口详情：albumVideoDateCount

获取精彩时刻录像文件详情

接口详情：albumVideoFileDetail

获取精彩时刻录像文件列表

接口详情：albumVideoFileList

获取精彩时刻配置详情

接口详情：getAlbumSetting

综合服务接口

视觉魔方自定义语义校验

接口详情：visualBoxEventCheck

查询智能视觉魔方列表预置事件

接口详情：getPresetEvent

查询智能视觉魔方列表（关联服务）

接口详情：getVisualBoxList

教程内容

基础入门开发

关于如何入门小程序面板开发，如果您是第一次接触小程序，请参考本教程开始入手详情。

IPC 精彩时刻通用方案模版

关于如何开发IPC 精彩时刻通用方案模版，请参考详情。

关键依赖模块

App 版本：
- 涂鸦 App、智能生活 App v6.6.0 及以上版本
Kit 依赖：
- BaseKit: v3.0.6
- MiniKit: v3.0.1
- DeviceKit: v4.0.8
- BizKit: v4.2.0
- AIKit: v1.2.0
- baseversion: v2.26.7
组件依赖：
- @ray-js/panel-sdk: "^1.13.5",
- @ray-js/ray: "1.7.9",
- @ray-js/smart-ui: "^2.1.4",
- @ray-js/cli: "^1.6.14",

概述

IPC 精彩时刻模版是为了降低开发者接入 IPC 精彩时刻通用方案的难度，整理了通用的视频处理能力并对外提供相应的示例源码。

原始视频

模版主要涵盖功能

精彩时刻服务设置：
- 服务名称修改
- 设备关联
- 服务开关
- 定时拍摄
- 智能拍摄
精彩时刻主功能：
- 精彩时刻智能相册（近一周、近一个月、近一年视频集合，支持视频下载）
- 精彩时刻全量相册（精彩时刻全量视频片段，支持视频下载、AI编辑、删除）
- AI 二次编辑（视频主体突出、视频隐私保护）

附录

模块集

服务详情设置

功能介绍

原始视频

精彩时刻服务详情主要包含以下信息：服务名称、服务开启状态、服务关联设备（最多可关联5个设备）、定时拍摄、智能拍摄
精彩时刻服务详情设置，主要依赖以下3个关键能力：

获取精彩时刻服务配置信息
开发者可通过 getAlbumSetting API 获取精彩时刻服务的详细配置信息。
保存精彩时刻服务配置信息
首次配置精彩时刻服务信息时，开发者可通过 albumSettingSave API 保存精彩时刻服务的详细配置信息。
编辑精彩时刻服务配置信息
首次配置完成后，开发者可通过 albumSettingEdit API 二次编辑精彩时刻服务的详细配置信息。

交互流程

注意事项

1.数据兜底处理
必须处理初始化时无数据的场景，返回合理的默认值
- 建议采用如下兜底策略：

    const defaultSettings = {      // 默认参数配置    };

1. 保存策略区分
  操作阶段使用接口
  首次初始化 albumSettingSave-api
  后续更新 albumSettingEdit-api

操作阶段	使用接口
首次初始化	albumSettingSave-api
后续更新	albumSettingEdit-api

精彩时刻智能相册

功能介绍

精彩时刻智能相册

精彩时刻智能相册主要包含以下内容：当日 AI 智能剪辑视频、近一周 AI 智能剪辑视频、近一个月 AI 智能剪辑视频、全量 AI 智能剪辑视频；
精彩时刻服务详情设置，主要依赖下述关键能力：

获取精彩时刻服务配置信息
开发者可通过 albumVideoDateCount API 以日期统计维度获取精彩时刻智能视频。

交互流程

精彩时刻全量相册

功能介绍

精彩时刻全量相册

精彩时刻全量相册主要包含以下内容：精彩时刻全量视频片段，支持视频下载、AI编辑、删除；
精彩时刻服务详情设置，主要依赖以下2个关键能力：

获取精彩时刻文件列表
开发者可通过 albumVideoFileList API 获取精彩时刻全量视频文件列表。
删除精彩时刻视频文件
首次配置精彩时刻服务信息时，开发者可通过 albumFileDelete API 保存精彩时刻视频文件。

交互流程

精彩时刻视频 AI 编辑 On-App AI

功能介绍

精彩时刻智能相册

精彩时刻视频 AI 编辑主要包含以下内容：

视频云端下载至本地；
视频主体突出 AI 编辑；
视频隐私保护 AI 编辑；
视频背景音乐自定义；

精彩时刻视频 AI 编辑，主要依赖下述关键能力：

下载云端视频
开发者可通过 startDownloadMessageVideoForComposition API 将需要编辑的云端视频下载到本地。
获取精彩时刻服务配置信息
开发者可通过 objectDetectForVideo API 将待编辑视频进行主体突出 AI 编辑。
获取精彩时刻服务配置信息
开发者可通过 privacyProtectDetectForVideo API 将待编辑视频进行隐私保护 AI 编辑。