24、Hadoop 数据分析与 Apache Spark 入门

Hadoop 数据分析与 Apache Spark 入门

1. DateConv UDF 函数的使用

DateConv Hive UDF 函数可用于 Hive QL 查询，它能将格式为 dd - MM - yyyy 的日期转换为 yyyy - MM - dd 格式，以用于 Hive 表。以下是使用示例：

-- 假设已有 DateConv 函数
-- 后续可直接使用其短名称 DateConv 进行日期转换操作

2. 表的创建

2.1 使用 CREATE TABLE 创建空表

若要在 ETL 流程中提取各供应商的月度采购总额，可使用 CREATE TABLE 语句创建表，并使用 IF NOT EXISTS 子句避免重复创建。示例如下：

CREATE TABLE IF NOT EXISTS
trade.suppliertot
(
payyear INT,
paymonth INT,
supplier STRING,
totamount DOUBLE
);

此表名为 suppliertot ，位于 trade 数据库中，包含四个列：交易年份、交易月份、供应商名称和该供应商的采购总额。由于没有 LOCATION 子句将其链接到 HDFS 目录，该表目前不包含任何数据。

2.2 使用 SEL