Azure Data Factory 混合数据集成：配置自托管集成运行时对接本地 SQL Server

Azure Data Factory (ADF) 的混合数据集成功能允许您将云服务与本地数据源（如 SQL Server）无缝连接。自托管集成运行时（Self-Hosted Integration Runtime, SHIR）是关键组件，它充当代理，在本地网络中运行，确保数据安全传输。以下是逐步配置指南，基于最佳实践确保可靠性和安全性。整个过程分为四个主要步骤：创建 SHIR、安装 SHIR 软件、配置连接本地 SQL Server，以及测试集成。我会使用中文详细解释，确保结构清晰。

步骤 1: 在 Azure Data Factory 中创建自托管集成运行时

在这一步，您需要在 Azure 门户中设置 SHIR 资源。

登录 Azure 门户：访问 https://portal.azure.com，导航到您的 Azure Data Factory 实例。
创建集成运行时：
- 在 ADF 主页，选择“管理”选项卡。
- 在“集成运行时”部分，点击“新建”。
- 选择“Azure, 自托管”作为类型，然后选择“自托管”。
- 输入名称（例如 MySelfHostedIR），并选择适当的订阅和资源组。
- 点击“创建”。系统会生成一个“身份验证密钥”，记下此密钥（稍后安装步骤需要）。
关键注意事项：SHIR 需要至少一个节点（本地机器）来运行。确保您的 Azure 订阅有足够权限。

步骤 2: 下载并安装 SHIR 软件在本地机器

SHIR 软件必须安装在能访问本地 SQL Server 的机器上（如 Windows 服务器）。

下载安装器：
- 在 Azure 门户中，返回您创建的 SHIR 资源。
- 在“节点”选项卡下，点击“下载自托管集成运行时”。
- 保存安装文件（例如 IntegrationRuntime.msi）到本地机器。
安装软件：
- 运行下载的 MSI 文件，接受许可协议。
- 在安装向导中：
  - 选择“安装自托管集成运行时”。
  - 输入步骤 1 中生成的“身份验证密钥”。
  - 指定节点名称（例如 LocalNode1）。
- 完成安装后，SHIR 服务会自动启动。您可以在 Windows 服务中检查 Microsoft Integration Runtime 服务状态。
验证安装：
- 打开命令提示符或 PowerShell，运行：
```
Get-Service -Name "DIAHostService" | Select-Object Status
```
  - 如果输出显示 Running，表示安装成功。
- 在 Azure 门户中，刷新 SHIR 资源页面，节点状态应变为“在线”。

步骤 3: 配置 SHIR 连接到本地 SQL Server

现在，您需要设置 SHIR 与本地 SQL Server 的通信，包括认证和网络设置。

准备本地环境：
- 确保本地机器能访问 SQL Server（例如，通过 ping 测试或 SQL Server Management Studio）。
- 配置防火墙：允许 SHIR 机器访问 SQL Server 端口（默认 1433）。在 SQL Server 上，启用 TCP/IP 协议（通过 SQL Server Configuration Manager）。
在 ADF 中创建链接服务：
- 返回 Azure Data Factory 门户。
- 在“管理”选项卡下，选择“链接服务”，然后点击“新建”。
- 搜索并选择“SQL Server”作为服务类型。
- 输入连接信息：
  - 名称：例如 LocalSQLServerConnection。
  - 通过集成运行时连接：选择您创建的 SHIR（例如 MySelfHostedIR）。
  - 服务器名称：输入本地 SQL Server 的 IP 地址或主机名（例如 192.168.1.100 或 MyLocalSQL）。
  - 数据库名称：输入目标数据库（例如 AdventureWorks）。
  - 认证类型：选择“Windows 身份验证”或“SQL Server 身份验证”。如果使用 SQL 认证，输入用户名和密码。
  - 测试连接（点击“测试连接”按钮）。如果成功，系统会提示“连接有效”。
安全最佳实践：
- 使用 Windows 身份验证以增强安全性（避免明文密码）。
- 在本地 SHIR 机器上，配置 Kerberos 委托（如果使用 Windows 认证），确保 ADF 可以模拟用户访问 SQL Server。
- 启用加密：在 SQL Server 连接字符串中添加 Encrypt=True 参数。

步骤 4: 测试和验证集成

完成配置后，测试数据流以确保一切正常。

创建测试管道：
- 在 ADF 中，转到“创作”选项卡。
- 新建一个管道，添加“复制数据”活动。
- 源数据集：选择您创建的链接服务（例如 LocalSQLServerConnection），并指定一个测试表（如 SELECT TOP 10 * FROM Sales）。
- 接收器数据集：设置为 Azure Blob Storage 或其他云存储（用于验证数据输出）。
- 运行管道：点击“调试”或“触发”。监控运行状态。
常见问题排查：
- 连接失败：检查 SHIR 节点状态（Azure 门户），确保服务运行。验证网络连接（例如，使用 telnet <SQL_Server_IP> 1433）。
- 认证错误：如果使用 SQL 认证，确保用户名/密码正确。在本地 SHIR 机器上，检查事件查看器（Windows 日志 > 应用程序）是否有错误。
- 性能优化：如果数据量大，调整 SHIR 节点资源（例如，增加内存或 CPU）。SHIR 支持多节点部署以提高吞吐量。
维护提示：
- 定期更新 SHIR 软件（通过 Azure 门户下载新版本）。
- 监控使用情况：在 Azure Monitor 中设置警报，跟踪数据量指标（例如，每秒行数）。

总结

通过以上步骤，您成功配置了 Azure Data Factory 的自托管集成运行时，实现了与本地 SQL Server 的混合数据集成。关键点包括：创建 SHIR 资源、在本地安装软件、设置安全连接，并测试数据流。整个过程通常在 30 分钟内完成。如果遇到问题，参考 Azure 官方文档或社区支持。确保本地网络稳定，避免防火墙阻塞，以保障数据可靠性。