Rockchip Camera Pipeline 全链路解析：Sensor → ISP → ISPP → RKCIF → RkAiq

原创于 2025-12-04 14:58:54 发布 · 580 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#接口隔离原则 #android #linux #运维 #服务器 #人工智能 #架构

rockchip 专栏收录该内容

1 篇文章

订阅专栏

华为云 DevUI 开发实战征文活动 10w+人浏览 211人参与

📺 B站视频讲解（Bilibili）：https://www.bilibili.com/video/BV1k1C9BYEAB/

📘 《Yocto项目实战教程》京东购买链接：Yocto项目实战教程

Rockchip Camera Pipeline 全链路解析：Sensor → ISP → ISPP → RKCIF → RkAiq

一、前言：为什么需要完整理解 Rockchip Camera Pipeline？

在 Rockchip RK3588 的相机系统中，数据链路远不只是“sensor → video device”这么简单。为了获得高质量、低噪声、色彩准确且稳定的画面，Rockchip 针对 RAW Sensor 构建了完整的 ISP（前处理）+ ISPP（后处理）+ AIQ（算法控制）系统，同时配合 RKCIF 框架实现一致的格式导出与 GStreamer/V4L2 集成。

对于基于 IMX585、IMX415、OV5647 等高分辨率 MIPI 传感器的产品，如果不了解整个链路，就很难定位以下常见问题：

MIPI drop frame
画面偏暗 / 偏色 / 噪点严重
曝光不稳定（AE 抖动）
运行 rkaiq 后画面变化不明显
v4l2 设备格式不一致、ISP 没有真正启用

本篇文章从 理论 + 内核代码 + 实际板卡（RK3588 + IMX585） 出发，讲解 Rockchip 全链路结构，帮助你在实战中快速定位问题。

二、总体结构概览：从 Sensor 到用户态的完整路径

数据流（Data Path）

Sensor（MIPI RAW）
  → CSIS（MIPI 接收）
  → ISP（前处理：黑电平、去噪、BLC、DPC、HDR 合成）
  → ISPP（后处理：Gamma、Sharpen、色彩调节、NR 等）
  → RKCIF（统一输出为 NV12、FBC、YUYV 等格式）
  → 应用层（GStreamer / V4L2 / MPP）

在这里插入图片描述

控制流（Control Path）

RkAiq（3A 管理 + 调教参数）
  → 控制 ISP/ISPP 运行参数
  → AE/AF/AWB 实时计算与下发

可以理解为：

CSIS → ISP → ISPP → RKCIF：负责“图像质量处理”
RkAiq：负责“算法调参与自动控制”

两者缺一不可。

三、MIPI / CSIS：Sensor 原始数据接收

1. Sensor 输出格式

大部分高端 sensor（如 IMX585）输出 RAW Bayer，如：

RAW10
RAW12
RAW14

这些格式本身不能用于显示，必须经过 ISP 才能被转换成 NV12/YUYV。

2. CSIS（MIPI-CSI2 Receiver）

CSIS 的任务：

接收 MIPI-Lane 数据
按照 VC（Virtual Channel）分通道
校验数据包（CRC、ECC）
输出 RAW 到 ISP

3. 常见 MIPI 问题

如果你看到：

rkisp0-vir0: MIPI drop frame

通常是：

Sensor 输出码流大于 MIPI 带宽
不同步（VC 错误、行长/帧长不匹配）
clk_set_rate 不正确（sensor timing 错误）
电压/EMI 干扰导致 CRC 错误

必须验证的关键点：

sensor 驱动中的 link_freq ✔
device tree 中的 clocks = <mipi0>; ✔
lane 数量是否与 sensor 一致 ✔
MIPI 时钟频率 ✔

四、ISP（Image Signal Processor）前处理流程

ISP 负责 RAW → RGB → YUV 的核心步骤，是画质的灵魂。

Rockchip ISP 包含以下关键模块：

1. BLC（Black Level Correction）

修正传感器像素的零点偏移，使黑色更准确。

2. DPC（Bad Pixel Correction）

补偿坏点、亮点。

3. HDR 合成 / WDR

高端 Sensor（如 IMX585）会输出：

STAGGER（两帧合成）
LINEAR（单帧）

ISP 完成合成流程。

4. LSC（Lens Shading Correction）

校正镜头暗角，补偿四周亮度不均，常见配置在 IQ 文件中：

lsc_data

5. AWB / AE / AF

这些模块由 RkAiq 算法控制，ISP 执行调整。

6. Demosaic（去马赛克）

RAW Bayer → RGB。

7. CCM（Color Correction Matrix）

校正色彩，使白平衡更真实。

完成以上步骤后，ISP 输出 RGB/YUV 给 ISPP。

五、ISPP（后处理流水线）

ISPP 为 ISP 输出做进一步增强，是 Rockchip 架构的重要部分。

ISPP 包含：

NR（降噪）
Gamma
Sharpen（锐化）
YC 分离
FEC（畸变矫正，可选）
Crop/Scale

例如 IMX585 夜景很暗，开启 ISPP 后会：

亮度更平衡
噪点大幅减少
边缘更清晰

如何验证 ISPP 是否真正生效？

输出格式要选择：

NV12（YUV420）
FBC（Rockchip 格式）

若选择 RAW 或 YUYV，则 ISPP 很可能被绕过。

六、RKCIF（Rockchip Camera Interface Framework）

RKCIF 统一了 camera video node 的管理。

它把 ISP/ISPP 的输出整理成：

/dev/video0（主输出）
/dev/video1（统计数据）
/dev/videoX（ISPP 输出）

例如 IMX585：

/dev/video11 = mainpath（主要输出）
/dev/video12 = selfpath
/dev/video13 = rawpath

你在 GStreamer 使用：

gst-launch-1.0 v4l2src device=/dev/video11 ! ...

就是从 RKCIF 获取最终画面。

七、RkAiq（Rockchip AIQ Framework）

RkAiq 是整个系统的“大脑”，负责：

AE（自动曝光）
AWB（自动白平衡）
AF（对焦）
Gamma
LSC
NR
CCM

RkAiq 实际上是一个“图像算法调度系统”，会：

从 RKCIF 统计节点获取统计数据
运行 AE/AWB/AF 算法
动态计算参数
下发给 ISP/ISPP 硬件模块

常见启动方式：

/usr/bin/rkaiq_3A_server

或者 systemd 服务：

rockchip-rkaiq.service

如果你看到：

Active: inactive (dead)

说明算法未运行 → 画质不会变好。

八、如何判断 ISP / ISPP / RkAiq 是否真正工作？

1. dmesg 打印

rockchip-isp    : stream on
rockchip-ispp   : stream on
rkisp0-vir0     : AIQ start

2. v4l2-ctl

v4l2-ctl -d /dev/video11 --all

能看到：

gamma 启用
ccm 数据
ae 状态
isp modules enabled

3. 画质变化

启动 rkaiq 前：

偏暗、偏色、噪点多
启动 rkaiq 后：
曝光更准
颜色自然
亮度提升

4. 自带 test

/usr/bin/rkaiq_tool

九、实战：RK3588 + IMX585 完整链路示例

1. 启动 ISP

v4l2-ctl -d /dev/video11 --set-fmt-video=width=3840,height=2160,pixelformat=NV12

2. 启动 rkaiq

systemctl start rockchip-rkaiq.service

3. GStreamer 采集

gst-launch-1.0 -e \
  v4l2src device=/dev/video11 ! \
  video/x-raw,format=NV12,width=3840,height=2160,framerate=30/1 ! \
  mpph265enc ! h265parse ! mp4mux ! filesink location=test.mp4