11、Spark SQL查询与外部数据源连接指南

Spark SQL查询与外部数据源连接指南

1. Spark作业启动与执行流程

许多Spark作业以 parallelize() 开始，将本地数据（Arrow二进制批次）发送到执行器，然后调用 mapPartitions() 将Arrow二进制批次转换为Spark的内部数据格式，以便分发到Spark工作节点。作业执行过程中会有多个WholeStageCodegen步骤，借助Project Tungsten的全阶段代码生成，显著提高CPU效率和性能。而 ArrowEvalPython 步骤则表明正在执行Pandas UDF。

2. 使用不同工具进行Spark SQL查询

可以通过多种方式查询Apache Spark，包括Spark SQL shell、Beeline CLI工具以及Tableau和Power BI等报表工具。下面详细介绍如何使用这些工具。

2.1 使用Spark SQL Shell

Spark SQL shell（ spark-sql CLI）是执行Spark SQL查询的便捷工具。它在本地模式下与Hive元数据存储服务通信，但不与Thrift JDBC/ODBC服务器（即Spark Thrift Server或STS）交互。STS允许JDBC/ODBC客户端通过JDBC和ODBC协议在Apache Spark上执行SQL查询。
- 启动Spark SQL CLI ：在 $SPARK_HOME 文件夹中执行以下命令：