Spark-Doris-Connecter实战

最新推荐文章于 2025-12-08 12:10:35 发布

原创

最新推荐文章于 2025-12-08 12:10:35 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #big data #大数据

本文档介绍了如何从Apache官方仓库下载并编译Doris Spark Connector，然后使用腾讯云镜像加速下载Spark。详细步骤包括配置Spark环境，将编译好的jar包放入Spark的jars目录，以及通过Spark-Doris-Connector查询Doris数据的示例代码。最后，提到了在集群版Spark中如何通过spark.yarn.jars配置从HDFS加载依赖Jar包。

从https://github.com/apache/incubator-doris-spark-connector 下载并编译，编译的时候建议使用Doris官方提供的编译镜像编译。

$ docker pull apache/incubator-doris:build-env-ldb-toolchain-latest

编译结果如下：

[root@xxx spark-doris-connector]# pwd
/data/incubator-doris-spark-connector/spark-doris-connector
[root@jiafeng spark-doris-connector]# ls target/ -trhl
总用量 7.7M
drwxr-xr-x 3 root root 4.0K 5月  11 22:32 maven-shared-archive-resources
-rw-r--r-- 1 root root    1 5月  11 22:32 classes.520860527.timestamp
drwxr-xr-x 5 root root 4.0K 5月  11 22:32 classes
drwxr-xr-x 5 root root 4.0K 5月  11 22:32 generated-sources
drwxr-xr-x 3 root root 4.0K 5月  11 22:32 maven-status
drwxr-xr-x 3 root root 4.0K 5月  11 22:32 thrift-dependencies
drwxr-xr-x 2 root root 4.0K 5月  11 22:32 maven-archiver
-rw-r--r-- 1 root root 174K 5