Camera-MTK Capture、Preview request解析

原创 已于 2024-09-28 10:50:00 修改 · 2.9k 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#android

于 2021-12-22 14:22:48 首次发布
本文分析了Camera工作流程，包括拍照、预览请求处理及流控解析，并详细探讨了预览卡顿及拍照耗时差异等问题，提供了具体的解决思路。

        Camera流程分析中最关键的是关于拍照、预览请求的处理以及流控的各种解析，从不同的request里面可以分析出大量的其他信息，对流需要做什么处理以及做了什么处理，这个是研究拍照、预览性能的必要经过。

1.通过Log对Camera流程check

        06:21:22.435 应用层开始openCamera

         06:21:22.471 Open前摄CameraDevice打开成功得到onOpen返回cameraProxy对应底层device

        06:21:22.672 下发前摄开启预览所需功能对应的session

         06:21:22.702 创建Camera前摄所需功能的session成功，且通过onConfigured返回CameraCaptureSessionProxy对应底层的CaptureSession

        06:21:22.719  HAL接收到应用层下发的预览请求 

        06:21:25.737拍照动作下发:

         06:21:25.784 HAL层接收到下发的capture Request

         06:21:25.877 HAL层处理完拍照帧之后，提供预览帧数据流

        06:21:26.020 拿到拍照之后的缩略图

         06:21:26.074 拍照完成，UI恢复

        06:21:28.225 拿到拍照之后的jpeg格式图片，且将拍照button恢复 

2.拍照之后预览卡死2-3s问题check

         对之前项目中遇到的预览卡死现象进行分析，当然造成预览卡死的原因不仅仅这一种，肯定需要具体情况具体分析。

异常log分析：

        因为问题是出现在虚化模式拍照之后，预览卡死2-3s之后才会恢复，处理问题的第一反应是需要check底层对capture、preview request的相关处理进而定位问题出现的时间节点，查看log可以看出18:20:03进入虚化模式，18:20:06下发拍照request，18:20:09预览request才处理预览请求，预览卡死即发生在18:20:06-18:20:09这个过程中。

         问题发生的时间点找到了，但是定位问题、解决问题的过程总是充满曲折，之前项目单单处理这个问题就花费了好长时间。现在就不去讨论咋么排除、定位问题的了，直接check问题点。

        根据之前的分析发现，18:20:09、18:20:11俩次拍照之前的200ms左右时间都会进行一次configureStrean重新配流的操作，这个操作就会耗费2s+的时间，同时也是导致预览流上来慢的原因。

        下一步需要check为什么会在每一次发送拍照请求之后要重新配流的异常原因。

         定位到这边离破案就不远了，但是还是经过了一段较长时间的折磨才最终解决了问题，直接上答案。

        最后定位到预览和拍照下发request时候要处理的Metadata的数量不一致导致。

        18:20:03 时间点刚进入预览模式进行配流操作，下发metadata数量为7。

         18:20:05 时间点出出发拍照模式，因为处理的metadata数量不一致，要重新进行一次配流，进而出发reconfig的操作，导致耗时增加了2s+。

        这边相当于通过 reconfig重新配流阶段，又将流配成预览所需的处理流程。定位到问题点解决方式就很简单了。

         下发capture request前后有触发reconfig是因为，app有下发的request中包含不同的session key导致（sessionkey不一致会导致hal层做reconfig）, app 下发session key（com.mediatek.control.capture.postviewsize）逻辑有误造成。

3.同一型号版本的衍生类拍照耗时有的较慢问题分析

        之前项目中有发现同一型号的衍生项目的俩台机型之前拍照的耗时差异比较大，客户对此提出疑问。对于系统代码处理流程而言基本是一致的不会产生较大差异，需要对不同型号手机的拍照流程进行分析才能找到造成耗时差异的原因。

        耗时较长机型的拍照请求的处理分析：

        下发拍照请求时间点 :

        针对拍照请求进行的相关处理流程

         耗时较短机型的拍照请求的处理分析:

        通过对俩款机型拍照之后request的分析，发现主要的耗时操作在于有一款进行了多帧处理，一款没有进行多帧降噪的处理，问题点定位到了，解决起来就会快很多。

总结

        Camera工程师最近被音频相关的问题搞的头昏眼花，回头搞搞Camera问题调节调节，音频涉及到的实在太多了，AudioPolicy、AudioMananger、AudioFlinger、AudioTrack各种mixer、dsp参数分发、各种输出设备的控制，搞得头都大了，感觉Audio通路能搞懂没个一年半载的专心研究根本就是乱七八糟的，太痛苦了！

相机Camera日志分析之十：高通相机Camx hal预览1帧logcat日志process_capture_request详解
05-17 175
高通相机Camx 日志分析之五：camx hal预览1帧logcat日志process_capture_request详解，这里我修改了app的代码，只预览一帧数据就预览卡死，因此只打印预览一帧的logcat，便于分析，以便学习使用。
Android 4.0 Camera架构分析之preview和takePicture
热门推荐
修行在个人
05-25 1万+
上篇文章介绍了，Camera初始化的过程，完成初始化之后就可以使用Camera提供的以下功能了 1.预览preview 2.视频录制 3.拍照和参数设置 打开Camera第一键事情就是预览取景preview的动作，我们先从Camera app分析起 。所有拥有拍照功能的应用，它在预览时候都要实现SurfaceHolder.Callback接口，并实现其surfaceCr
MTKIntent2Request流程深度解析
最新发布
weixin_51957904的博客
10-10 670
<!DOCTYPE html><html><head> <title>mtk intent2 request流程</title> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <link rel="stylesheet" href="file:///c:\Users\j00022872\.vscode\ex
[MTK 驱动开发]MTK CAMERA 流程
feelinghappy的专栏
06-17 2602
<br />chrisking 发表于 2010-1-11 21:56:00近来准备驱动通过EMI驱动一个LCD屏，加上一颗4W的sensor，研究了下CAMERA的流程。<br />以23C的平台为例子。<br /> <br />1. mmi_camera_entry_app_screen 进入MMI，CAMERA进行分配动态内存，供采集数据处理。<br />2. mmi_camera_entry_app_screen_internal，进入判断T卡等环境相关，---》CAMERA_ENTER_STATE
Camera: MTK CaptureSession
Cmatrix204的博客
08-06 877
基于MTK Camera2框架以及Google developers里面关于Camera2的介绍，加以梳理，去整理一下关于Camera CaptureSession的时序以及需要注意的点，方便以后分析问题。 1.MTK CaptureSession时序 这份时序图整理的比较早，现在回过头再去check相关的流程，发现很多地方并没有重点说明，甚至遗漏了很多重要的点。 2.MTK 应用层CreateCaptureSession重点 1.应用层调用F...
MTK capture 拍照流程
程序员Android
05-31 1348
和你一起终身学习，这里是程序员Android经典好文推荐，通过阅读本文，您将收获以下知识点:一、多帧拍照请求概览二、多帧拍照回帧概览一、多帧拍照请求概览多帧拍照请求概览如下：多帧拍照请求1.1 APP 下发拍照请求到 Camera Framework1.1.1 Trace关键字如下：APP:deliverInputEvent: app 点击事件处理CameraUnitCamera2ImplTake...
MTK camera 基本流程分析
03-21
基本流程 匹配和上电部分 分析详细一点 适合新手
mtk 拍照流程分析
u012248972的专栏
01-21 1694
以下是16中intent:typedef enum { eIntent_CameraPreviewStart = ECmd_CameraPreviewStart, eIntent_CameraPreviewEnd = ECmd_CameraPreviewEnd, eIntent_CamcorderPreviewStart = ECmd_CamcorderPreview
MTK 多帧拍照流程分析
程序员Android
08-29 1285
和你一起终身学习，这里是程序员Android经典好文推荐，通过阅读本文，您将收获以下知识点:一、多帧拍照请求概览二、多帧拍照回帧概览一、多帧拍照请求概览多帧拍照请求概览如下：多帧拍照请求1.1 APP 下发拍照请求到 Camera Framework1.1.1 Trace关键字如下：APP:deliverInputEvent: app 点击事件处理CameraUnitCamera2ImplTake...
MTK --process_capture_request
weixin_38360181的博客
07-21 962
camera process_capture_request 流程 在使用默认设置中的一组设置和至少一个输出流（已由Framework较早注册），framework构造并向HAL发送第一个捕获请求。framework调用 camera_device方法ops调用camera3_device_ops的process_capture_request开始下发request请求，通过camera3_device_t-> ops-> process_capture_request（）发送到HAL。 在..
android mtk camera 数据处理基本流程
转载和创作优秀的博客
03-09 584
MTK_camera驱动流程总结
04-27
MTK camera驱动流程总结 收集 入门与进阶神器
Android Camera原理之camera service与camera provider session会话与capture request轮转
07-24 736
上层调用CameraManager.openCamera的时候，会触发底层的一系列反应，之前我们分享过camera framework到camera service之间的调用，但是光看这一块还不够深入，接下来我们讨论一下camera service与camera provider之间在open...
MTK原生CameraApp端的camera操作流程
u010869159的博客
09-05 1134
MTK原生CameraApp端的camera相关操作流程
Mtk Camera Hal到驱动的流程（三）
Flying snow
11-22 4538
（1）Camera成像原理 （A）成像原理 物体通过镜头(lens)生成的光学图像投射到图像传感器上（CMOS/CCD集成电路）,把光信号转换为电信号； 然后经过A/D（模数转换）转换后变为数字图像信号（图像处理器ISP处理）； 在送到数字信号处理器中处理（DSP）转换成标准的GRB、YUV等格式图像信号； （B）相机包含四大件 镜头(lens)、图像传感器(sensor)、图像处理器（ISP）、数字信号处理器（DSP） 镜头（lens）是相机的灵魂，镜头(lens)对成像的效果有很重要的作用，是利
MTK平台Camera驱动流程分析
weixin_38360181的博客
07-21 1945
Camera成像原理 景物通过镜头生成的光学图像投射到图像传感器上，然后转为模拟的电信号，经过A/D模数转换器后转换成数字信号，再把数字信号传输到DSP数字信号处理芯片加工处理，再通过IO接口传输到CPU中处理，再通过LCSD就可以看到图像了。 **图像传感器(sensor)**是一种半导体芯片，其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时，就会产生电荷。目前的sensor有两种 CCD（Charge Couple Device）电荷耦合器件,它是目前高像素类 sensor 中比较成熟..
Camera7 MTK camera打开流程介绍
frank_zyp的博客
03-02 4405
一、整体介绍： 　　首先看下MTKcam的整体框架图如下包含了很多的内容，其中camera的打开流程也贯穿在 其中，从Camera APK 一层层的系统调用到driver再到Hardware层，这篇文章主要从Pipeline开始 介绍打开camera的流程，JAVA/Cameraservice/MiddleWare层后续再进行介绍： 1、MiddleWare(MW)层介绍： ICamer...
【安卓】Camera API CaptureRequest
sinat_29846389的博客
02-25 2243
安卓Camera API CaptureRequest 解读一下CaptureRequest类的官方注释 /** * <p>An immutable package of settings and outputs needed to capture a single * image from the camera device.</p> * * <p>Contains the configuration for the capture hardware (sens
mtk_camera_startup_logs是什么
06-18
<think>我们正在讨论MTK相机启动日志（mtk_camera_startup_logs）的含义及其在相机启动过程中的作用。根据引用[3]，我们知道在设备定制（客制化）过程中，device目录下的mk文件（如针对mt8163平台的mk文件）会定义一些全局变量，这可能包括相机相关的配置。MTK相机启动日志是MediaTek（联发科）平台相机系统在初始化过程中生成的日志，用于记录相机硬件和软件层的初始化状态、参数配置及关键事件。这些日志对于调试相机启动问题、性能优化和系统集成至关重要。###MTK相机启动日志内容解析1.**相机HAL层初始化**-日志会记录`CameraHal`类的初始化过程，包括：-相机硬件抽象层版本（如`CameraHALAPIversion:3.4`）-相机传感器检测结果（如`Detected2camerasensors`）-相机特性支持（如`Supportlevel:LEGACY`）[^2]2.**相机服务启动**-日志包含相机服务的启动流程：```log[CameraService]start:CameraServicestarting[CameraService]enumerateProviders:Addingcameraproviderfromhardwarelegacy/0```此部分显示系统加载的相机Provider（如`hardwarelegacy`）[^1]。3.**相机设备打开**-当应用请求打开相机时，日志会记录设备打开状态：```log[CameraDeviceClient]initialize:Cameradevice0opened[Camera2ClientBase]initialize:Deviceversion:3.4,clientversion:3.4```包括设备版本和客户端API版本匹配情况[^2]。4.**参数配置**-显示相机初始参数（分辨率、帧率等）：```log[RequestThread]configureOutputs:Settingpreviewsize:1920x1080[Camera3Device]createStream:StreamcreatedwithID1,format0x23,size1920x1080```###相机初始化日志格式MTK相机日志遵循Android标准日志格式，但包含MTK特定标记（如`[MtkCam]`）：```log[时间戳][进程ID-线程ID][日志级别/Tag]消息内容```**示例**：```log07-0510:23:45.6781234-1256IMtkCam/CameraHal:[initialize]CameraHALinitializedfordevice/dev/video0```-**字段解析**：-`07-0510:23:45.678`：时间戳（月-日时:分:秒.毫秒）-`1234-1256`：进程ID-线程ID-`I`：日志级别（I=Info,D=Debug,E=Error）-`MtkCam/CameraHal`：日志Tag（标明日志来源模块）-`[initialize]...`：具体消息###MTK特定日志项1.**传感器校准日志**MTK平台会记录传感器校准状态：```log[MtkCam/SensorCal]calibrate:Sensorcalibrationcompleted,status=0````status=0`表示校准成功。2.**驱动层初始化**显示底层相机驱动加载情况：```log[MtkCam/Drv]init:Cameradriverversion:mtk_camera_v2.1.0```3.**性能优化标记**MTK添加了启动耗时统计：```log[MtkCam/Perf]startup:Camerastartuptime:320ms```###调试应用在`CameraXActivity.java`（引用[1]）中，可通过以下方式启用详细日志：```javaimportandroid.util.Log;publicclassCameraXActivityextendsActivity{privatestaticfinalStringTAG="OpenCamera/CameraX";protectedvoidonCreate(BundlesavedInstanceState){Log.d(TAG,"MTKcamerastartuplogsenabled");//添加自定义日志点}}```###关键日志路径-**系统日志**：`adblogcat-sMtkCam:*`-**内核日志**：`adbshelldmesg|grepmtk_camera`-**HAL层日志**：`adblogcat-sCameraHal`>通过分析`mtk_camera_startup_logs`，开发者可定位相机启动失败（如传感器未就绪）、参数配置错误或性能瓶颈等问题[^1][^2][^3]。§§相关问题§§1.如何从日志中区分MTK相机和其他平台（如高通）的启动过程？2.MTK相机日志中常见的错误代码有哪些？3.如何定制MTK相机的日志输出级别？4.相机启动日志与Camera2API调用有何关联？</think>### MTK Camera Startup Logs 内容解析 MTK Camera Startup Logs 是联发科(MediaTek)平台相机系统初始化时生成的关键日志，记录了从硬件驱动加载到应用层相机服务初始化的完整流程。以下是核心内容解析： #### 1. **相机硬件层初始化** - **传感器检测日志** ```log [HAL] mtk_camera: probe(): Detected IMX586 sensor at i2c-2 addr 0x1A [ISP] mtk_isp_init: ISP core clock set to 800MHz ``` 显示相机传感器型号、I²C地址及ISP处理器时钟配置[^3]。 - **驱动加载状态** ```log [DRV] mtk_cam_drv: loaded firmware mt8163_cam_fw.bin (v2.1.3) [V4L2] mtk_cam_v4l2: registered /dev/video0 (CAPTURE) ``` 包含固件版本、设备节点注册信息（如`/dev/video0`）[^2]。 #### 2. **相机HAL层初始化** - **HAL模块加载** ```log [HAL] load: Loading mtk_camera HAL module (API v3.4) [HAL] getNumberOfCameras(): Found 2 physical cameras ``` 显示HAL接口版本和物理相机数量[^1]。 - **特性配置解析** ```log [HAL] parseStaticMetadata: android.sensor.info.activeArraySize = [0,0,4032,3024] android.control.aeAvailableModes = [1,3] ``` 输出相机静态元数据（分辨率、曝光模式等）[^1]。 #### 3. **CameraService初始化** - **相机服务启动** ```log [CameraService] start: CameraService starting (pid 1234) [CameraProvider] initialize: Registered MTK camera provider ``` 显示服务进程ID和供应商提供者注册状态[^1]。 - **设备枚举** ```log [CameraDeviceClient] openCameraDevice: Opening camera 0 for client com.opencamera [Camera2Client] initialize: Created device for camera 0 (API2) ``` 记录应用请求打开的相机设备和API版本[^1]。 #### 4. **性能关键路径** - **启动耗时统计** ```log [Perf] camera_startup: |-- HAL_init: 120ms |-- Sensor_power_on: 85ms |-- ISP_config: 210ms `-- Total: 520ms ``` 分段统计各模块初始化时间（MTK特有性能日志）[^3]。 - **资源分配** ```log [Memory] mtk_cam_mem: Allocated 1024KB for preview buffer (ION heap) ``` ### 相机初始化日志格式特征 MTK平台相机日志采用分层标记格式： ```log [时间戳] [模块标签/日志级别] 消息内容 (关键参数) ``` **字段解析**： | 字段 | 示例值 | 说明 | |---------------|-------------------------|-----------------------------| | 时间戳 | `07-05 08:12:34.567` | 月-日 时:分:秒.毫秒 | | 模块标签 | `[HAL]`/`[DRV]` | 标识硬件层/驱动层/HAL层 | | 日志级别 | `INFO`/`ERR`/`PERF` | MTK扩展的错误/性能专用标记 | | 关键参数 | `(v2.1.3)`/`(API v3.4)` | 固件版本或接口规格 | ### 典型问题排查场景 1. **相机启动失败** 通过`ERR`标记定位错误源： ```log [ERR] mtk_cam_power: Failed to enable AVDD_2.8V (ret=-110) [HAL] ERROR: Camera 0 init failed at sensor power ``` 2. **性能瓶颈分析** 利用`PERF`日志优化启动速度： ```log [PERF] camera_startup: ISP_config (210ms) exceeds threshold 150ms! ``` 3. **兼容性问题** 检查HAL接口版本匹配： ```log [HAL] WARN: App requires API v3.5, device supports v3.4 ``` > **定位技巧**：在`CameraXActivity.java`中启用调试模式可获取更详细日志[^1]： > ```java > // src/main/java/net/sourceforge/opencamera/CameraXActivity.java > if (Build.MODEL.contains("mt8163")) { > System.setProperty("camera.debug.mtk_log", "2"); // 启用MTK详细日志 > } > ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值