Impala导入数据的几种方式

Impala 作为 Hadoop 生态圈中高性能的 SQL 查询引擎，其本身不直接管理和存储数据，而是依赖于 HDFS、HBase 等存储系统。因此，Impala 的“数据导入”通常指的是将数据文件放入其能够访问的存储位置（主要是 HDFS），然后通过 DDL 语句让 Impala 识别这些数据。

以下是几种主要的 Impala 数据导入方式，我将从常用到特殊进行说明。

核心思路

所有导入方式都遵循两个核心步骤：

1. 将数据文件放置到 Impala 可访问的存储位置（通常是 HDFS 的指定目录）。
2. 刷新 Impala 的元数据，让其感知到新数据的存在。

---

1. 从 HDFS 文件导入（最常用、最标准的方式）

这是最典型、性能最好的方式，尤其适用于大数据量的批处理场景。

适用场景：批量导入数据文件，如 ETL 过程的结果、日志文件、从其他系统导出的 CSV/Parquet 文件等。

步骤：

1. 准备数据文件：确保你的数据文件是 Impala 支持的格式，如 TEXTFILE（CSV）、PARQUET、AVRO、SEQUENCEFILE 等。Parquet 格式是 Impala 的首选，因为它具有高效的列式存储和压缩。
2. 上传文件到 HDFS：使用 hadoop fs -put 或 hdfs dfs -put 命令将文件上传到目标表的 HDFS 目录下。

   # 假设你的表外部位置是 /user/hive/warehouse/sales_db.db/sales_table/
   hadoop fs -put /local/path/sales_data.parquet /user/hive/warehouse/sales_db.db/sales_table/
   

3. 刷新表元数据：在 Impala Shell 中，对表执行 REFRESH 操作。这会通知 Impala 去检查 HDFS 中该表目录下的文件变化。

   USE sales_db;
   REFRESH sales_table;
   

4. 查询验证：

   SELECT COUNT(*) FROM sales_table;
   

注意：

• 如果表是内部表（Managed Table），数据文件必须放在其指定的 HDFS 表目录下。
• 如果表是外部表（External Table），数据文件可以放在任何你指定的 HDFS 位置。

---

2. 使用 INSERT 语句导入

这种方式是通过 SQL 语句将其他表的数据查询并插入到目标表中。

适用场景：

• 数据转换和加工：从一个表筛选、计算