【鸿蒙实战开发】基于AVCodecKit的音视频解码及二次处理播放

1：场景描述

场景：基于VideoCoder的音视频解码及二次处理播放。

首先导入选择器picker模块，使用PhotoViewPicker方法拉起图库选择视频文件，将视频文件传递到native侧使用Demuxer解封装器进行解封装，再使用OH_VideoDecoder进行解码（surface模式）送显播放

使用的核心API：

picker ：提供拉起图库选择视频的功能接口。
AVDemuxer ：音视频解封装，用于获取视频等媒体帧数据。
VideoDecoder：视频解码，将视频数据解码后送显播放。

2：方案描述

Step1：导入picker模块(仅代表选择一个视频路径，还有其它获取媒体文件的方式), 拉起图库选择视频文件保存到自定义路径。

Step2：将文件传递到native侧进行交互。

Step3：使用AVDemuxer接口对文件进行解封装获取视频流数据。

Step4：使用VideoDecoder接口将视频数据解码，结合Xcomponent送显播放。

效果图如下：

具体步骤如下：

步骤一：导入picker模块, 拉起图库选择视频文件自定义保存。

import { picker } from '@kit.CoreFileKit';
let photoSelectOptions = new picker.PhotoSelectOptions();
photoSelectOptions.MIMEType = picker.PhotoViewMIMETypes.VIDEO_TYPE;
photoSelectOptions.maxSelectNumber = 1;
let photoPicker = new picker.PhotoViewPicker();
photoPicker.select(photoSelectOptions).then((PhotoSelectResult: picker.PhotoSelectResult) => {
  hilog.info(0x0000, TAG, 'PhotoViewPicker.select successfully, PhotoSelectResult uri: ' + JSON.stringify(PhotoSelectResult));
  this.selectFilePath = PhotoSelectResult.photoUris[0];
  hilog.info(0x0000, TAG, 'Get selectFilePath successfully: ' + JSON.stringify(this.selectFilePath));
}).catch((err: BusinessError) => {
  hilog.error(0x0000, TAG, 'PhotoViewPicker.select failed with err: ' + JSON.stringify(err));
})
}

步骤二：将文件传递到native侧进行交互。

import player from 'libplayer.so';
export const playNative: (
  inputFileFd: number,
  inputFileOffset: number,
  inputFileSize: number,
  cbFn: () => void
) => void;
static napi_value Init(napi_env env, napi_value exports) {
  napi_property_descriptor classProp[] = {
    {"playNative", nullptr, Play, nullptr, nullptr, nullptr, napi_default, nullptr},
};
napi_value PlayerNative = nullptr;
const char *classBindName = "playerNative";
napi_define_class(env, classBindName, strlen(classBindName), nullptr, nullptr, 1, classProp, &PlayerNative);
PluginManager::GetInstance()->Export(env, exports);
napi_define_properties(env, exports, sizeof(classProp) / sizeof(classProp[0]), classProp);
return exports;
}

步骤三：使用Demuxer接口对文件进行解封装获取视频流数据。

Step1：创建解封装器，传入媒体文件格式信息。

int32_t Demuxer::CreateDemuxer(SampleInfo &info) {
  source = OH_AVSource_CreateWithFD(info.inputFd, info.inputFileOffset, info.inputFileSize);
  demuxer = OH_AVDemuxer_CreateWithSource(source);
  auto sourceFormat = std::shared_ptr<OH_AVFormat>(OH_AVSource_GetSourceFormat(source), OH_AVFormat_Destroy);
  int32_t ret = GetTrackInfo(sourceFormat, info);
  return