RAW数据格式

博客介绍了Raw格式,它是sensor输出的未经处理的数据,代表光强度。Raw数据输出有GRBG、RGGB、BGGR、GBRG四种顺序,G分量多可降低功耗。sensor输出数据需送ISP处理,要配置顺序和大小,还以4K图像为例说明插值后像素含RGB三分量,可参考算法保存为RGB24。

Raw格式是sensor的输出格式,是未经处理过的数据,表示sensor接受 到的各种光的强度。
Raw数据在输出的时候是有一定的顺序的,一般为以下四种:
00: GRBG
01:    RGGB
10:    BGGR
11:    GBRG

G分量多一个是因为人眼对绿光敏感度更高,GRBG代表四个piexl,在物理sensor上就表示4个晶体管,用一个晶体管只采样一个颜色分量,然后通过插值计算得到每个piexl,这样做的主要目的是降低功耗。
sensor输出的数据一般要送到ISP中处理才会得到一个好的效果,这就需要ISP知道sensor输出的raw数据的顺序与大小,其中顺序一般通过配置ISP的pattern寄存器来实现,大小一般配置在ISP的输入格式控制寄存器中。

对于一个4K的图像3840x2160以GRBG为例说明如下:

每一个2x2是一个组,代表4个sensor,同时表示4个pix,所以对于每一个像素只有一个分量要么只有R,要么只有G,要么只有B,经过ISP的插值之后,每一个pix变为含有RGB三个分量。

可参考插值算法将摄像头采集RAW数据保存位RGB24

### 分区RAW数据格式的特点 分区RAW数据格式是指将未经处理的原始数据按照一定的逻辑或物理规则划分存储在不同的分区中。这种格式保留了数据的原始结构,未进行任何清洗或转换,仅可能进行基本的格式统一(如文件格式统一为Parquet或ORC)和元数据采集,包括记录数据来源、时间、大小等信息。这种方式提供了极大的灵活性,适用于数据结构尚不明确或需要保留原始数据形态的场景。 在数据湖架构中,Raw Zone(原始区)是专门用于存储未经任何处理的原始数据的区域。该区域的标准化程度最低,但保留了数据的完整性和原始性。数据在这一阶段通常采用Schema-on-Read策略,即在查询或分析时才定义和应用模式,而不是在数据写入时强制执行模式[^1]。 ### 分区RAW数据格式的应用场景 分区RAW数据格式广泛应用于需要保留原始数据并支持灵活处理的场景中。例如: 1. **数据湖构建**:在数据湖的Raw Zone中,数据以分区RAW格式存储,便于后续的数据清洗、转换和分析。这种格式允许不同结构的数据共存,支持多样的数据源接入,并为后续的数据治理提供基础[^1]。 2. **大数据分析与挖掘**:由于RAW数据保留了原始信息,适合用于数据探索、模式识别和机器学习等任务。例如,在用户行为分析中,原始日志数据可以以分区RAW格式存储,供后续的特征提取和建模使用。 3. **数据恢复与修复**:在磁盘分区出现RAW格式的情况下,系统可以利用RAW数据的原始特性进行快速恢复。例如,当格式化分区破坏不严重时,可以迅速列出目录和文件,而无需扫描整个磁盘,这对于大容量硬盘的数据恢复非常有用[^2]。 4. **科研与实验数据存储**:在科学研究中,原始实验数据通常以RAW格式存储,并按照实验批次、时间戳等维度进行分区管理,以便于后续的数据处理和分析。 5. **图像处理与计算机视觉**:在图像处理领域,RAW图像数据通常以分区方式存储,每个分区对应不同的拍摄条件或传感器参数,便于进行图像增强、去噪、色彩校正等操作。 ### 示例代码 以下是一个使用Apache Spark读取分区RAW数据格式的示例代码,展示如何将Parquet格式的RAW数据加载到DataFrame中进行处理: ```python from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession.builder \ .appName("Read Raw Partitioned Data") \ .getOrCreate() # 读取分区RAW数据(假设数据格式为Parquet) raw_data = spark.read \ .format("parquet") \ .load("s3a://data-lake/raw-zone/") # 显示数据结构 raw_data.printSchema() # 显示部分数据 raw_data.show(5) # 停止SparkSession spark.stop() ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值