【SQL Server 2022常见问题解答】PolyBase 外部数据源配置：连接 Hadoop 与 Azure 实战

摘要：本文聚焦于 SQL Server 2022 中 PolyBase 外部数据源的配置，详细介绍了如何使用 PolyBase 实现 SQL Server 与 Hadoop 以及 Azure 之间的连接。文中通过具体的实操流程和完整的代码示例，深入讲解了配置过程中的各个环节，包括环境准备、外部数据源定义、外部表创建等内容，旨在帮助读者顺利完成 PolyBase 外部数据源的配置，实现不同数据源之间的数据交互与分析。

---

---

【SQL Server 2022常见问题解答】PolyBase 外部数据源配置：连接 Hadoop 与 Azure 实战

关键词

SQL Server 2022；PolyBase；外部数据源；Hadoop；Azure

一、引言

在当今的数据驱动时代，企业的数据往往存储在多个不同的系统中，如关系型数据库、大数据平台等。为了能够高效地整合和分析这些分散的数据，SQL Server 2022 引入了 PolyBase 技术。PolyBase 允许 SQL Server 直接查询外部数据源，而无需将数据导入到 SQL Server 内部，从而大大提高了数据处理的效率和灵活性。

本文将详细介绍如何使用 PolyBase 配置外部数据源，实现与 Hadoop 和 Azure 的连接。通过这种方式，用户可以在 SQL Server 中直接对 Hadoop 集群和 Azure 存储中的数据进行查询和分析，为企业的数据整合和分析提供了强大的支持。

二、PolyBase 概述

2.1 PolyBase 的定义和作用

PolyBase 是 SQL Server 中的一项功能，它允许 SQL Server 直接访问外部数据源，如 Hadoop、Azure Blob 存储等。通过 PolyBase，用户可以在 SQL Server 中使用标准的 Transact - SQL 语句查询外部数据源中的数据，而无需将数据移动到 SQL Server 内部。这不仅减少了数据传输的开销，还提高了数据处理的效率。

2.2 PolyBase 的优势

• 数据集成：可以将来自不同数据源的数据集成到一个查询中，方便进行数据分析和挖掘。
• 降低成本：避免了将大量数据从外部数据源复制到 SQL Server 内部的成本和时间开销。
• 提高性能：直接在外部数据源上执行查询，减少了数据传输和处理的时间。

三、连接 Hadoop 实战

3.1 环境准备

3.1.1 SQL Server 2022 配置

确保 SQL Server 2022 已安装并启用了 PolyBase 功能。可以通过以下步骤检查和启用 PolyBase：

1. 打开 SQL Server Management Studio (SSMS)，连接到 SQL Server 2022 实例。
2. 执行以下查询，检查 PolyBase 是否已启用：

SELECT SERVERPROPERTY('IsPolyBaseInstalled') AS IsPolyBaseInstalled;

如果返回值为 1，则表示 PolyBase 已安装；如果返回值为 0，则需要安装 PolyBase 功能。

3. 如果需要安装 PolyBase，可以使用 SQL Server 安装程序，在安装过程中选择“PolyBase 查询外部数据”功能。

3.1.2 Hadoop 集群配置

确保 Hadoop 集群已正确配置，并且可以从 SQL Server 所在的服务器访问。具体配置步骤如下：

1. 网络连接：确保 SQL Server 所在的服务器与 Hadoop 集群在同一网络中，并且可以通过 IP 地址或主机名相互访问。
2. Hadoop 服务配置：确保 Hadoop 集群中的 HDFS 和 YARN 服务已正常启动。
3. 防火墙配置：确保防火墙允许 SQL Server 所在的服务器与 Hadoop 集群之间的网络通信。

3.2 定义外部数据源

在 SQL Server 中定义 Hadoop 外部数据源，需要指定 Hadoop 集群的连接信息。以下是创建 Hadoop 外部数据源的示例代码：

-- 创建 Hadoop 外部数据源
CREATE EXTERNAL DATA SOURCE HadoopDataSource
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://<HadoopNameNode>:<Port>',
    RESOURCE_MANAGER_LOCATION = '<YARNResourceManager>:<Port>'
);

参数解释：

• TYPE = HADOOP：指定外部数据源的类型为 Hadoop。
• LOCATION：指定 Hadoop 集群的 HDFS 地址，格式为 hdfs://<HadoopNameNode>:<Port>，其中 <HadoopNameNode> 是 Hadoop 集群的 NameNode 地址，<Port> 是 HDFS 的端口号（通常为 8020）。
• RESOURCE_MANAGER_LOCATION：指定 Hadoop 集群的 YARN 资源管理器地址，格式为 <YARNResourceManager>:<Port>，其中 <YARNResourceManager> 是 YARN 资源管理器的地址，<Port> 是 YARN 资源管理器的端口号（通常为 8032）。

3.3 定义外部文件格式

在查询 Hadoop 中的数据之前，需要定义外部文件格式。以下是创建 CSV 格式的外部文件格式的示例代码：

-- 创建外部文件格式
CREATE EXTERNAL FILE FORMAT CsvFileFormat
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (
        FIE