30、本地与 Azure 大数据集成及 SSIS 扩展应用

本地与 Azure 大数据集成及 SSIS 扩展应用

1. Hadoop Hive 脚本操作

在数据处理过程中，我们可以使用如下脚本在 Hadoop Hive 中进行操作：

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED
BY '10' STORED AS TEXTFILE
LOCATION '/SSISCookBook/Export/';
INSERT OVERWRITE TABLE HDPDWHiveTable
SELECT CompanyName, Category ,   SUM(OrderQy) AS OrderQy,
AVG(UnitPrice) AS UnitPrice, SUM(Discount) AS Discount,
SUM(TaxAmount) AS TaxAmount, SUM(Freight) AS Freight,
             SalesOrderNumber, PurchaseOrderNumber
FROM   SalesExtracts
GROUP BY CompanyName, Category, SalesOrderNumber,
PurchaseOrderNumber;

此脚本的具体操作步骤如下：
1. 切换数据库上下文 ：将上下文切换到之前创建的 SSISCookBook 数据库。
2. 创建外部表 ：创建一个存储在 Hive 外部的表，即使在 Hi