24、SQL Server 数据处理：批量加载优化与分布式查询实践

SQL Server 数据处理：批量加载优化与分布式查询实践

1. 批量加载性能优化

批量加载操作的核心目标在于提升性能与便利性，其中性能尤为关键。我们期望能以最快速度将大量数据加载到服务器，同时尽量减少对服务器的影响。除了之前提到的将批量加载配置为最少日志记录以提升性能和减少负面影响外，还有其他优化方法。

• 数据分批处理 ：BCP 和 BULK INSERT 支持将大文件的加载拆分为多个小批次。默认情况下，批量操作作为单个事务执行，这意味着整个加载要么全部成功，要么全部失败，并且在操作完成前，事务日志信息无法清除。将数据拆分为小批次可以避免这种情况，若出现错误，仅该批次失败，重启时可从特定批次开始。此外，在批量加载期间进行备份操作时，日志可以被清除，还能将大文件拆分为多个部分，由多个客户端并行运行。不过，如果原本没有性能问题，使用批次可能会使情况更糟，因此需要进行测试以找到最佳设置。
• 数据预排序 ：确保数据文件中的数据按照目标表的聚集索引键顺序排序，可通过 BCP 实用程序或 BULK INSERT 语句的 ORDER 提示指定数据已预排序，这能提高对具有聚集索引的表的批量加载性能。
• 处理非聚集索引 ：在加载数据前删除表上的非聚集索引，加载完成后再重新创建。如果表在加载前为空，此操作可能无帮助；但如果表中已有数据，则可能提升性能，不过需要在自己的数据库中进行测试。

2. 分布式查询概述

之前讨论的 BCP 和 BULK INSERT 语句通常用于处理平面文件和 SQL