OpenHarmony子系统开发 - 媒体相机
一、相机开发概述
基本概念
相机是OpenHarmony多媒体进程提供的服务之一，提供了相机的录像、预览、拍照功能，支持多用户并发取流。
在进行应用的开发前，开发者应了解以下基本概念：
-
视频帧
视频流指的是将一系列图片数据按照固定时间间隔排列形成的数据流，每一张图片数据成为一帧，这样的一帧称为视频帧。
-
帧速率（FPS，Frames Per Second）
视频播放每秒钟刷新图片的速度，或是视频每秒的帧数，帧速率越高，视频的观感越流畅。
-
分辨率
每一帧的图片信息都是由像素点组成的，分辨率描述了一张图片中像素点的个数。例如1920*1080(1080P)，是指图片宽1920像素，高1080像素。
运作机制
-
多媒体服务进程
多媒体服务作为系统服务，在系统启动时由Init进程拉起，并初始化和分配媒体硬件资源（内存/显示硬件/图像传感器/编解码器等）。初始化过程解析配置文件，确定了多媒体各个服务的能力和资源上限，通常由OEM厂商通过配置文件进行配置。相机服务在多媒体进程初始化时有以下配置项：
- 内存池：所有媒体服务依赖于内存池中的内存轮转运行
- 图像传感器：包括了传感器类型、分辨率、ISP等
- 图像处理器：分辨率、码率、图像翻转等
- 图像编码器：编码格式、码率、分辨率等
-
关键类的解释
应用通过持有下面4个类，配置和使用Camera的功能，包括了Camera类和它的三个异步回调类，三类回调分别对应了不同类型的异步处理场景，详见下表。
表1 关键类的解释
对象 用途 举例 Camera 对相机进行静态配置（通过配置类），触发相机基本功能 拍照/录像/预览 CameraDeviceCallback 处理相机硬件状态变化 可用/不可用 CameraStateCallback 处理camera自身状态变化 创建/释放 FrameStateCallback 处理帧状态的变化 拍照开始和结束/帧率发生变化 -
流的传递
Surface是多媒体传递音视频的基本数据结构，Camera一般作为Surface中数据的生产者，在不同的场景下有特定的消费者。
相机的预览和录像输出均为视频流，拍照输出为图像帧，二者均通过Surface类进行传递。Surface类可以屏蔽进程内/跨进程的场景，进行多媒体信息流的传递。
以录像为例，用户首先创建Recorder实例，并从Recorder中获取对应Surface，再将此Surface传递给Camera实例，此时Camera将作为生产者向Surface注入视频流，而Recorder作为消费者从Surface中取出视频流进行保存，用户的行为类似桥接，把二者通过Surface连接起来。
类似的，用户也可以自行创建Surface传递给Camera实例，并实现消费者逻辑（例如通过网络传输视频流，或是将拍照的帧数据保存成图片文件）。
图形图像模块也通过Surface从Camera获取流资源，具体步骤详见图形图像开发指导。
-
相机运行流程
-
Camera创建流程
本进程通过CameraManager创建Camera实例，并从服务端绑定camera设备，创建成功后异步通知developer。类之间的时序图如下：
图1 Camera创建时序图
-
Camera录像/预览流程
开发者首先通过CameraKit创建Camera，然后FrameConfig类对录像或者预览帧属性进行配置。录像/预览时序如下：
图2 Camera录像/预览时序图
-
二、拍照开发指导
使用场景
使用Camera产生图片帧（拍照）。
接口说明
表1 API列表
| 类名 | 接口名 | 描述 |
|---|---|---|
| CameraKit | int32_t GetCameraIds(std::list<string> cameraList) | 获取cameraId列表 |
| CameraKit | CameraAbility& GetCameraAbility(string cameraId) | 获取指定camera的能力 |
| CameraKit | void RegisterCameraDeviceCallback(CameraDeviceCallback* callback, EventHandler* handler) | 注册camera设备状态回调 |
| CameraKit | void UnregisterCameraDeviceCallback(CameraDeviceCallback* callback) | 去注册camera设备状态回调 |
| CameraKit | void CreateCamera(string cameraId, CameraStateCallback* callback, EventHandler* handler) | 创建camera实例 |
| Camera | string GetCameraId() | 获取cameraID |
| Camera | CameraConfig& GetCameraConfig() | 获取camera配置信息 |
| Camera | FrameConfig& GetFrameConfig(int32_t type) | 获取捕获帧类型 |
| Camera | void Configure(CameraConfig& config) | 配置camera |
| Camera | void Release() | 释放camera |
| Camera | int TriggerLoopingCapture(FrameConfig& frameConfig) | 开始循环帧捕获 |
| Camera | void StopLoopingCapture() | 停止循环帧捕获 |
| Camera | int32_t TriggerSingleCapture(FrameConfig& frameConfig) | 截图 |
| CameraConfig | void SetFrameStateCallback(FrameStateCallback* callback, EventHandler* handler); | 设置帧状态回调 |
| CameraConfig | static CameraConfig* CreateCameraConfig() | 创建camera配置信息实例 |
| CameraAbility | std::list<Size> GetSupportedSizes(int format) | 根据类型获取支持输出图像尺寸大小 |
| CameraAbility | std::list<T> GetParameterRange(uint32_t key) | 获取支持的参数范围 |
| CameraDevice | CameraDeviceCallback() | camera设备回调类构造函数 |
| CameraDevice | void OnCameraStatus(std::string cameraId, int32_t status) | camera设备状态变化时的回调 |
| CameraStateCallback | CameraStateCallback() | camera状态回调类构造函数 |
| CameraStateCallback | void OnConfigured(Camera& camera) | camera配置成功回调 |
| CameraStateCallback | void OnConfigureFailed(Camera& camera,int32_t errorCode) | camera配置失败回调 |
| CameraStateCallback | void OnCreated(Camera& camera) | camera创建成功回调 |
| CameraStateCallback | void OnCreateFailed(std::string cameraId,int32_t errorCode) | camera创建失败回调 |
| CameraStateCallback | void OnReleased(Camera& camera) | camera释放回调 |
| FrameStateCallback | FrameStateCallback() | 帧状态回调类构造函数 |
| FrameStateCallback | void OnFrameFinished(Camera& camera, FrameConfig& frameConfig, FrameResult& frameResult) | 拍照帧完成回调 |
| FrameStateCallback | void OnFrameError(Camera& camera, FrameConfig& frameConfig, int32_t errorCode, FrameResult& frameResult) | 拍照帧异常回调 |
| FrameConfig | int32_t GetFrameConfigType() | 获取帧配置类型 |
| FrameConfig | std::list<OHOS::Surface> GetSurfaces() | 获取帧配置的surface |
| FrameConfig | void AddSurface(OHOS::AGP::UISurface& surface); | 添加surface |
| FrameConfig | void RemoveSurface(OHOS::AGP::UISurface& surface); | 删除surface |
约束与限制
无。
开发步骤
-
实现设备状态回调的派生类，用户在设备状态发生变更（如新插入相机设备/相机掉线）时，自定义操作。
class SampleCameraDeviceCallback : public CameraDeviceCallback { void OnCameraStatus(std::string cameraId, int32_t status) override { //do something when camera is available/unavailable } }; -
实现帧事件回调的派生类，这里在拿到帧数据以后将其转存为文件。
static void SampleSaveCapture(const char *p, uint32_t size) { cout << "Start saving picture" << endl; struct timeval tv; gettimeofday(&tv, NULL); struct tm *ltm = localtime(&tv.tv_sec); if (ltm != nullptr) { ostringstream ss("Capture_"); ss << "Capture" << ltm->tm_hour << "-" << ltm->tm_min << "-" << ltm->tm_sec << ".jpg"; ofstream pic("/sdcard/" + ss.str(), ofstream::out | ofstream::trunc); cout << "write " << size << " bytes" << endl; pic.write(p, size); cout << "Saving picture end" << endl; } } class TestFrameStateCallback : public FrameStateCallback { void OnFrameFinished(Camera &camera, FrameConfig &fc, FrameResult &result) override { cout << "Receive frame complete inform." << endl; if (fc.GetFrameConfigType() == FRAME_CONFIG_CAPTURE) { cout << "Capture frame received." << endl; list<Surface *> surfaceList = fc.GetSurfaces(); for (Surface *surface : surfaceList) { SurfaceBuffer *buffer = surface->AcquireBuffer(); if (buffer != nullptr) { char *virtAddr = static_cast<char *>(buffer->GetVirAddr()); if (virtAddr != nullptr) { SampleSaveCapture(virtAddr, buffer->GetSize()); } surface->ReleaseBuffer(buffer); } delete surface; } delete &fc; } } }; -
实现相机状态回调的派生类，自定义相机状态发生变化（配置成功/失败，创建成功/失败)时的操作。
class SampleCameraStateMng : public CameraStateCallback { public: SampleCameraStateMng() = delete; SampleCameraStateMng(EventHandler &eventHdlr) : eventHdlr_(eventHdlr) {} ~SampleCameraStateMng() { if (recordFd_ != -1) { close(recordFd_); } } void OnCreated(Camera &c) override { cout << "Sample recv OnCreate camera." << endl; auto config = CameraConfig::CreateCameraConfig(); config->SetFrameStateCallback(&fsCb_, &eventHdlr_); c.Configure(*config); cam_ = &c; } void OnCreateFailed(const std::string cameraId, int32_t errorCode) override {} void OnReleased(Camera &c) override {} }; -
创建CameraKit，用于创建和获取camera信息。
CameraKit *camKit = CameraKit::GetInstance(); list<string> camList = camKit->GetCameraIds(); string camId; for (auto &cam : camList) { cout << "camera name:" << cam << endl; const CameraAbility *ability = camKit->GetCameraAbility(cam); /* find camera which fits user's ability */ list<CameraPicSize> sizeList = ability->GetSupportedSizes(0); if (find(sizeList.begin(), sizeList.end(), CAM_PIC_1080P) != sizeList.end()) { camId = cam; break; } } -
创建Camera实例。
EventHandler eventHdlr; // Create a thread to handle callback events SampleCameraStateMng CamStateMng(eventHdlr); camKit->CreateCamera(camId, CamStateMng, eventHdlr); -
根据步骤1、步骤2、步骤3中的回调设计，同步等待 OnCreated 回调拿到 cam_ 之后，进行相关操作。
void OnCreated(Camera &c) override { cout << "Sample recv OnCreate camera." << endl; auto config = CameraConfig::CreateCameraConfig(); config->SetFrameStateCallback(&fsCb_, &eventHdlr_); c.Configure(*config); cam_ = &c; } void Capture() { if (cam_ == nullptr) { cout << "Camera is not ready." << endl; return; } FrameConfig *fc = new FrameConfig(FRAME_CONFIG_CAPTURE); Surface *surface = Surface::CreateSurface(); if (surface == nullptr) { delete fc; return; } surface->SetWidthAndHeight(1920, 1080); /* 1920:width,1080:height */ fc->AddSurface(*surface); cam_->TriggerSingleCapture(*fc); }
三、录像开发指导
使用场景
使用Camera采集视频码流。
接口说明
参考拍照开发指导的“接口说明”。
约束与限制
无。
开发步骤
-
参考拍照开发指导中步骤1、步骤2、步骤3、步骤4。
-
获取录像FrameConfig。
/* 从recorder获取surface */ Surface *surface = recorder_->GetSurface(0); surface->SetWidthAndHeight(1920, 1080); surface->SetQueueSize(3); surface->SetSize(1024 * 1024); /* 将surface配置到帧配置中 */ FrameConfig *fc = new FrameConfig(FRAME_CONFIG_RECORD); fc->AddSurface(*surface); -
开启和停止录像。
stateCallback->camera_->TriggerLoopingCapture(*fc); // 开始录像 stateCallback->camera_->StopLoopingCapture(); // 结束录像
四、预览开发指导
使用场景
使用Camera产生视频流并播放。
接口说明
参考拍照开发指导的“接口说明”。
约束与限制
无。
开发步骤
-
参考拍照开发指导中步骤1、步骤2、步骤3、步骤4。
-
设置预览显示的区域。
Surface *surface = Surface::CreateSurface(); /* 设置显示区域 */ surface->SetUserData("region_position_x", "480"); // 矩形左上角横坐标 surface->SetUserData("region_position_y", "270"); // 矩形左上角纵坐标 surface->SetUserData("region_width", "960"); // 宽 surface->SetUserData("region_height", "540"); // 高 fc->AddSurface(*surface); -
开始和结束预览。
stateCallback->camera_->TriggerLoopingCapture(*fc); // 开始预览 stateCallback->camera_->StopLoopingCapture(); // 停止预览
扫一扫
1081
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
