RV1126与RV1109 AI系统设计概要（一部分）

RV1109与RV1126参数

主要区别

RV1126处理器(例子)

        四核核 Cortex-A7，ARM架构V7-A指令，独立Neon SIMD(一种高级单指令多数据扩展指令集，可执行并行数据处理)，与独立FPU(浮点计算)。（RV1109双核A7）

        每核有32KB L1 I-Cache（一级指令高速缓存），32KB L1 D-Cache（一级数据高速缓存）

        512KB L2 Cache（二极高速缓存）

        CPU核心独立供电，可以单独关闭开启。

        DVFS 即动态电压频率调整，动态技术则是根据芯片所运行的应用程序对计算能力的不同需要，动态调节芯片的运行频率和电压(对于同一芯片，频率越高，需要的电压也越高)，从而达到节能的目的。

视频输入接口

接口和视频输入处理单元

• 两个MIPI CSI/ LVDS/SubLVDS接口，每个4个通道，MIPI CSI最大数据速率为每通道2.5Gbps，LVDS/SubLVDS最大数据速率为每通道1Gbps。
• 一个8/10/12/16位标准DVP接口，最多为150MHz的输入数据。
• 支持BT.601/BT.656年和BT.1120个VI接口。
• 支持pixel_clk、hsync、vsync的极性可配置。

ISP（图像处理算法）

• 最大分辨率为1400万像素（4416x3312）（RV1109为500万像素）
• DVP输入： ITU-R BT。601/656/1120，原始8/10/12/16生，YUV422
• MIPI输入： RX数据通道x1/x2/x4，原始8/原始10/原始12，YUV422
• 3A: 包括AE/直方图、AF、AWB统计输出
• FPN：固定模式噪声消除
• BLC：黑色水平校正
• DPCC：静态/动态缺陷像素簇校正
• LSC：镜头避光校正
• Bayer-NR：空间拜耳原始去噪，2DNR
• HDR：3/2帧合并到高动态范围
• TMO：3/2帧合并视频音调映射
• WDR：一帧宽动态范围音调映射
• Debayer：高级自适应去马赛克色差校正
• CCM/CSM：颜色校正矩阵；RGB2YUV等
• Gamma： Gamma输出校正
• Dehaze/Enhance：自动去除和边缘增强
• 3DLUT：面向客户的3D调试板
• LDCH：在水平方向上的镜头失真
• Output Scale*3：支持降低等级*3（W0<3264；W1<1280；W2<1280）
• Output Scale*2：支持降低级别*2（W0<1920；W1<1920）
• 输出（FBC）：支持YUV422/420与帧缓冲区压缩
• 3DNR：在YUV中的高级时间噪声降低
• 2DNR：YUV中的高级空间降噪
• Sharp：图片锐化和边缘增强在YUV
• ORB：面向快速旋转的摘要，一种特征点检测方法
• FEC：更大的镜头失真和鱼眼矫正
• CGC：颜色配域压缩，YUV全范围/限制范围转换

视频编解码

视频解码器

• 实时解码H.264和H.265
• H.265的Main和Main10配置文件，最高5.0级和4096x2304@30fps
• Baseline, main, high, high10 and high 4:2:2（没有MBAFF），高达5.1级和4096x2304@30fps

视频编码器

• 实时UHD H.265/H.264视频编码 （3840x2160）
• I-/p帧和SmartP参考
• 五种比特率控制模式（CBR、VBR、FixQp、AVBR和QpMap）
• 最多可达100 Mbit/s的输出比特率
• 支持ROI（无限制）编码；
• 高规格的H.264，高达5.1级和4096x2304@30fps
• 主流的H.265，高达5.0级和4096x2304@30fps
• 支持多流编码

1. 3840 x 2160@30帧ps+1080p@30帧ps编码
2. 3840 x 2160@30编码+ 3840 x 2160@30帧/秒解码

• 输入数据格式：

1. YCbCr 4:2:0 planar
2. YCbCr 4:2:0 semi-planar
3. YCbYCr 4:2:2
4. CbYCrY4:2:2 interleaved
5. RGB555 and BGR555
6. RGB565 and BGR565
7. RGB888 and BRG888
8. RGB101010 and BRG101010

• 一个隔离的电压域来支持DVFS

JPEG编解码器

• JPEG编码器

1. 基线(DCT顺序）
2. 编码器的大小从96x96到8192x8192（67万像素）
3. 每秒9000万像素

• JPEG解码器

1. 解码器大小从48x48到8176x8176（66.8Mpixels）
2. 高达每秒7600万像素

神经处理单元

• 神经网络加速引擎，处理性能高达2.0TOPS
• 支持整数8，整数16的卷积运算
• 支持深度学习框架：TensorFlow, TF-lite, Pytorch, Caffe, ONNX, MXNet,
  Keras, Darknet
• 支持OpenVX API
• 一个隔离的电压域来支持DVFS

存储器组织

• 内部芯片存储器

1. BootRom（启动片内存储）
2. SYSTEM_SRAM在VD_LOGIC的电压域中
3. PMU_SRAM在VD_PMU的电压域内的低功率应用

• 外部芯片外存储器
• DDR3/DDR3L/DDR4/LPDDR3/LPDDR4-2133
• SPI闪存
• eMMC
• SD卡
• 异步Nand闪存

内部存储器

• 内部BootRom

1. 支持从以下设备启动系统：
    FSPI Flash 接口
    eMMC 接口
    SDMMC 接口
    Async Nand 接口
2. 支持系统代码下载：
    USB OTG 接口（设备模式）

• SYSTEM_SRAM ：64KB
• PMU_SRAM：8KB

外部内存或存储设备

• 双倍速率同步动态随机存储器（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4-2133）

1. 兼容JEDEC标准
2. 与DDR3/DDR3L/DDR4/LPDDR3/LPDDR4-2133兼容
3. 支持32位数据宽度，2片（芯片选择），每个片最大为4GB寻址空间，总寻址空间为4GB（最大）
4. 低功耗模式，如对SDRAM的断电和自刷新

• eMMC（内嵌式多媒体存储卡）

1. 与标准的iNAND接口兼容
2. 兼容eMMC规范4.51
3. 支持三种数据总线宽度：1位、4位或8位
4. 支持高达HS200（HS200就是在clk为200M的频率下进行传输数据，对应还有hs400）；但不支持CMD Queue（命令队列）

• SD/MMC（安全数字多媒体存储卡）

1. 兼容SD3.0，MMC ver4.51
2. 数据总线宽度为4位

• FSPI（灵活串行外设接口 ）

1. 支持串口flash设备之间的数据传输
2. 支持x1、x2、x4个数据位模式
3. 支持2个芯片选择

• Nand Flash接口

1. 支持异步nand闪存
2. 数据总线宽度为8位
3. 支持1个芯片选择
4. 支持LBA nand闪存
5. 高达16bits/1KB硬件ECC（差错检测和修正算法）
6. 支持可配置的接口定时

系统组件

• RISC-V 单片机

1. 32位微控制器核心与RISC -V ISA（指令集架构）
2. 哈佛架构，独立的指令和数据存储器
3. 指令集是带有M和C扩展的RV32I
4. 集成可编程中断控制器(IPIC)，所有123条IRQ线连接到Cortex-A7的GIC也连接到RISC -V单片机
5. 集成的调试控制器与JTAG接口

• CRU（时钟和复位单元）

1. 支持针对各个组件的时钟门控控制
2. 一个振荡器与24MHz时钟输入
3. 支持全芯片全局软复位控制，也支持各部件单独软复位

• PMU（电源管理单元）

1. 支持5个单独的电压域：VD_CORE/VD_LOGIC/VD_PMU/VD_NPU/VD_VEPU
2. 支持14个独立的电源域，可以通过软件根据不同的应用场景断电
3. 多种可配置工作模式，通过不同频率或自动时钟门控制或电源域开关控制节省电源

• Timer（定时器）

1. 支持6个64位定时器，支持基于中断的非安全应用程序操作
2. 支持2个64位定时器，基于中断的操作，用于安全应用程序
3. 支持两种操作模式：自由运行和用户定义的计数
4. 支持计时器的工作状态可检查

• PWM（脉宽调制）

1. 支持12个片上pwm (PWM0~PWM11)，基于中断操作
2. 可编程的预缩放操作总线时钟，然后进一步缩放
3. 嵌入式32位计时器/计数器设备
4. 支持捕获模式
5. 支持连续模式或单次模式
6. 提供参考模式，并输出各种占空比波形
7. 针对PWM3、PWM7和PWM11的红外应用进行了优化

• Watchdong（看门狗）

1. 32位看门狗计数器
2. 计数器数量从预设值减少到0，以指示发生超时
3. 当发生超时时，WDT可以执行两种类型的操作：
    生成一个系统重置
    首先生成一个中断，如果在第二次超时发生时服务例程没有清除该中断，则生成一个系统重置
4. 可编程复位脉冲长度
5. 总共16个定义的主超时时间范围
6. 一个非安全应用程序看门狗
7. 一个看门狗安全应用程序

• 中断控制器

1. 支持来自不同组件的128个SPI中断源输入
2. 支持16个由软件触发的中断
3. 每个Cortex-A7分别有两个中断输出（nFIQ：快速中断请求；nIRQ：标准中断请求），两者都是低水平敏感的
4. 每个中断源支持不同的中断优先级，并且始终是软件可编程的

• DMAC（Direct Memory Access Channel 直接存贮器存取通道）

1. 基于微码编程的DMA
2. 支持链表DMA功能，完成分散-聚集传输（可以从不同缓存区读取或写入数据，不需要一整块连续的存储区域）
3. 支持内存到内存、内存到外设、外设到内存的数据传输类型
4. 使用中断输出信号来指示各种DMA事件的发生
5. 一个嵌入式DMA控制器
6. DMAC功能：
   支持8通道
   来自外设的27个硬件请求
   2中断输出
   支持每个DMA通道的TrustZone技术和可编程安全状态

• 安全系统

1. 密码引擎
   支持SM2/SM3/SM4密码
   支持SHA-1，SHA-256/224，SHA-512/384，MD5硬件填充
   支持链接列表项（LLI）DMA传输
   支持AES-128 AES-256加密和解密密码
   支持AESECB/CB/CB/CFB/CTR/CTS/XTS模式
   支持DES & TDES加密和解密密码
   支持DES/TDES ECB/OFB/CFB模式
   支持4096位PKA数学操作RSA/ECC
   支持8通道配置支持256位TRNG（真随机数生成）输出
2. 支持对所有DDR类型的数据置乱
3. 支持安全OTP（一次性可编程序）
4. 支持安全调试
5. 支持安全操作系统

• Maibox（一种用于在多个进程之间传递消息的同步原语。它类似于一个缓冲区，可以存储多个消息，并且可以在不同的进程之间进行读取和写入。使用SystemVerilog邮箱可以实现进程之间的通信和同步，从而提高系统的并发性和可靠性。）

1. SoC中的一个Mailbox服务于A7和RISC-V MCU的通信
2. 每个Mailbox服务支持四个Mailbox元素，每个元素包括一个数据字，一个命令字寄存器和一个可以表示一个中断的标志位
3. 提供32个锁寄存器供软件使用，以指示Mailbox是否被占用

• DECOM（decompressing 解压）

1. 支持解压缩GZIP文件
2. 支持解压缩LZ4文件，包括LZ4框架格式的一般结构和遗留框架格式
3. 支持以Deflate格式解压数据
4. 支持ZLIB格式压缩数据
5. 支持完全中断和错误中断输出
6. 在LZ4解压过程中支持哈希32检查
7. 支持解压缩数据的限制大小功能，以防止内存在解压缩过程中被恶意破坏
8. 支持软件来停止解压过程

图像引擎

• 二维图形引擎（RGA）：

1. 源格式：
   ABGR8888，XBGR888，ARGB8888，XRGB888
   RGB888，RGB565
   RGBA5551，RGBA4444
   YUV420平面，YUV420半平面
   YUV422平面，YUV422半平面
   YUV 10位为YUV420/422半平面
   BPP8，BPP4，BPP2，BPP1
2. 目标格式：
   ABGR8888，XBGR888，ARGB8888，XRGB888
   RGB888，RGB565RGBA5551，RGBA4444
   YUV420平面，YUV420半平面
   YUV422平面，YUV422半平面
3. 像素格式转换，BT.601/BT.709
4. 最大分辨率： 8192x8192输入，4096x4096输出
5. BitBLT（bit block transfer,位块传送，位图数据块的传送）
   两个源BitBLT：
   A+B=B仅BitBLT，在B固定时，A支持旋转和缩放，
   A+B=C第二个源(B)有相同的属性与(C)+旋转功能
6. 颜色填充为渐变填充和图案填充
7. 高性能的拉伸和收缩性能
8. 用于文本渲染的单色扩展
9. 新的综合每像素alpha（颜色/alpha通道分开）
10. Alpha混合模式包括Java 2波特-达夫合成混合规则，色度键，模式掩模，衰落
11. 分散操作
12. 0、90、180、270度旋转
13. x镜、y镜和旋转操作

• 图像增强处理器（IEP）：

1. 图像形式
   输入数据： YUV420/YUV422，半平面/平面，UV交换
   输出数据： YUV420/YUV422，半平面，UV交换，平铺模式
   YUV下采样转换从422到420
   最大分辨率的动态图像高达1920x1080
2. De-interlace 反交错

显示交互

• 一个最多为24位的RGB并行视频输出接口
• 一个BT.1120个视频输出接口
• 一个4车通道的MIPI DSI接口，每车通道高达1Gbps
• 最高1080p@60fps

视频输出处理器（VOP）

• 高达1920x1080 @60fps
• Multiple layer 多层处理

1. 背景层
2. Win0层
3. Win2层

• 输入格式：RGB888、ARGB888、RGB565、YCbCr422、YCbCr420、YCbCr444
• 1/8到8的缩小和放大引擎
• 支持虚拟显示
• 256级alpha混合（预乘alpha支持）
• 透明颜色键
• YCbCr2RGB (rec601-mpeg/ rec601-jpeg/rec709)
• RGB2YCbCr (BT.601/BT.709）
• 支持多区域
• Win0层和Win2层可互换叠加
• 支持RGB或YUV域覆盖
• BCSH（亮度、对比度、饱和度、色调调节）
• BCSH: YCbCr2RGB (rec601-mpeg/ rec601-jpeg/rec709)
• BCSH: RGB2YCbCr (BT.601/BT.709)
• 支持伽马调节
• 支持抖动下降快板RGB888 to 666、RGB888 to 565和抖动下降FRC(可配置)RGB888 to 666
• 空白和黑色显示

声频接口

• 8个通道的I2S0，

1. 最多8个通道TX和8个通道RX路径
2. 音频分辨率从16位到32位
3. 采样率高达192 KHz
4. 提供主从工作模式，软件可配置
5. 支持3种I2S格式(正常、左对齐、右对齐)
6. 支持4种PCM格式（PCM：脉冲编码调制，是将模拟信号转化为数字信号的一种方法）(early, late1, late2, late3)
7. I2S模式和PCM模式不能同时使用

• 2个通道的I2S1/I2S2（用于单向传输音乐，效率高）

1. 多达2通道的TX和2通道的RX路径
2. 音频分辨率从16位到32位
3. 采样率高达192 KHz
4. 提供主从工作模式，软件可配置
5. 支持3种I2S格式(正常、左对齐、右对齐)
6. 支持4种PCM格式（PCM：脉冲编码调制，是将模拟信号转化为数字信号的一种方法）(early, late1, late2, late3)
7. I2S和PCM不能同时使用

• PDM（pulse-duration modulation：脉冲宽度调制，多用传输麦克风录音）

1. 最多8个通道
2. 音频分辨率从16位到24位
3. 采样率高达192 KHz
4. 支持PDM主接收模式

• TDM（Time Division Multiplex：时分多路转换，多用于双向音频通讯）

1. 支持最多8个通道的TX和8个通道的RX路径
2. 音频分辨率从16位到32位
3. 采样率高达192 KHz
4. 提供主从工作模式，软件可配置
5. 支持3种I2S格式(正常、左对齐、右对齐)
6. 支持4种PCM格式(early, late1, late2, late3)

• 音频PWM

1. 支持将PCM转换为PWM格式
2. 采样率高达16倍
3. 支持2x/4x/8x/16过采样的线性插值
4. 支持11位可屏蔽的L/R通道PWM输出

• 数字音频编解码器

1. 支持3通道数字ADC
2. 支持2通道数字DAC
3. 支持I2S/PCM接口
4. 支持I2S/PCM主从模式
5. 支持在I2S模式下的4通道音频输出
6. 支持在I2S模式下的2通道音频接收
7. 支持在PCM模式下的2通道音频传输或接收
8. 支持数字ADC和数字DAC的16~24位样本分辨率
9. 数字ADC和数字DAC都支持三组采样率。第0组是8khz/16khz/32kHz/64kHz/128khz，第1组是11.025khz/22.05khz/44.1khz/88.2khz/176.4khz，第2组是12khz/24khz/48khz/96khz/192khz
10. 数字ADC滤波器的通频带为0.45625*fs
11. 支持+/-0.1dB范围内的数字ADC通带纹波
12. 数字ADC滤波器的停止频带为0.5*fs
13. 支持数字ADC阻带衰减至少60dB
14. 支持数字ADC和数字DAC的音量控制
15. 支持自动电平控制(ALC)和数字ADC噪声门
16. 支持通过I2C总线与模拟编解码器通信

连接

• SDIO接口

1. 兼容SDIO3.0协议
2. 4位数据总线宽度

• GMAC 10/100/1000M以太网控制器

1. 使用RGMII接口，支持10/100/1000-Mbps的数据传输速率
2. 使用RMII接口，支持10/100-Mbps的数据传输速率
3. 同时支持全双工和半双工的操作
4. 支持TCP分段卸载（TSO）和UDP分段卸载（USO）网络加速

• USB 2.0 Host（主机）

1. 兼容USB 2.0规范
2. 支持高速（480Mbps）、全速（12Mbps）和低速（1.5Mbps）模式
3. 支持增强的主机控制器接口规范（EHCI），版本1.0
4. 支持开放主机控制器接口规范（OHCI），版本1.0a

• USB 2.0 OTG （一键拷贝）

1. ​​兼容规范：
   通用串行总线规范，修订版2.0
   通用串行总线(xHCI)的可扩展主机控制器接口，修订版1.1
2. 支持控制、批量、中断、同步传输

• SPI接口

1. 支持2个SPI控制器，支持两个芯片选择输出
2. 支持串行从属模式和串行从属模式，软件可配置

• I2C接口

1. 支持6个I2C接口（I2C0-I2C5）
2. 支持7位和10位的地址模式
3. 软件可编程时钟频率
4. 在标准模式下，I2C总线上的数据可以以100K bits/s的速率传输，在快速模式下高达400K bits/s，在快速模式Plus下以1m bits/s的速率传输\

• UART接口

1. 支持6个UART接口（UART0-UART5）
2. 支持5位、6位、7位、8位串行数据的传输或接收
3. 标准的异步通信位，如启动、停止和奇偶校验
4. 支持不同的UART操作输入时钟，波特率高达4Mbps
5. 支持自动流量控制模式（UART2除外）

其他

• 多组GPIO

1. 所有的gpos都可以用来生成中断
2. 支持电平触发和边缘触发中断
3. 支持可配置极性电平触发中断
4. 支持可配置的上升沿、下降沿和双沿触发中断
5. 支持可配置的拉方向(弱上拉和弱下拉)
6. 支持可配置的驱动强度

• 温度传感器(TS-ADC)

1. 支持用户自定义模式和自动模式
2. 在用户定义模式下，启动转换可以完全由软件控制，也可以由硬件生成。
3. 在自动模式下，可以配置报警（高低温度）中断的温度
4. 在自动模式下，系统复位的温度可进行配置
5. 支持2通道TS-ADC（分别用于CPU和