24、数据处理与质量评估：从数据获取到数据清理

数据处理与质量评估：从数据获取到数据清理

1. 功能层与 RAPTOR 框架

功能层是数据处理的核心部分，其核心功能数据处理方法是 R - A - P - T - O - R 框架。该框架包含多个步骤，其中检索（Retrieve）和评估（Assess）是重要环节。

2. 检索超级步骤

检索超级步骤支持外部数据源与工厂之间的交互，并将数据加载到数据湖的原始区域。以下是具体操作步骤：
1. 记录代码运行时间 ：

import datetime
nowStart = datetime.datetime.now()

2. 设置检索步骤路径 ：

pathRIFname='./000-RIF/100-Functional-Layer/100-Retrieve/'

3. 导入必要的库 ：

import subprocess
import os
import time
import sys
import numpy as np

4. 查找 Python 可执行文件 ：