基于Spark3.3.0的doris-spark-connector实战

原创 已于 2022-07-15 15:08:37 修改 · 2.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #scala

于 2022-07-15 11:46:07 首次发布
本文详细介绍了如何基于Spark3.3.0和Doris构建doris-spark-connector，包括源码编译、Spark环境配置，以及使用RDD和DataFrame读写Doris数据的实战步骤，展示了Spark与Doris的无缝对接。

基于Spark3.3.0的doris-spark-connector实战

想要更全面了解Spark内核和应用实战，可以购买我的新书。

《图解Spark 大数据快速分析实战》(王磊)）

1. doris-spark-connector编译
  1. 从github下载源码
     git clone https://github.com/apache/doris-spark-connector.git
  2. 执行vim custom_env.sh ，修改custom_env.sh文件，添加如下内容：
export THRIFT_BIN=/usr/local/bin/thrift
export MVN_BIN=/opt/software/apache-maven-3.8.5/bin/mvn
export JAVA_HOME=/opt/software/jdk8
  1. 基于spark3.3.0编译
    cd spark-doris-connector/
sh build.sh --spark 3.3.0 --scala 2.12
  2. 编译结果
    Thrift version 0.13.0
Apache Maven 3.8.5 (3599d3414f046de2324203b78ddcf9b5e4388aa0)
Maven home: /opt/software/apache-maven-3.8.5
Java version: 1.8.0_131, vendor: Oracle Corporation, runtime: /opt/software/jdk8/jre
Default locale: en_US, platform encoding: ANSI_X3.4-1968
OS name: "linux", version: "4.18.0-358.el8.x86_64", arch: "amd64", family: "unix"
SPARK_MINOR_VERSION: 3.3
[INFO] Scanning for projects...

[INFO] Replacing /opt/software/doris-spark-connector/spark-doris-connector/target/spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT.jar with /opt/software/doris-spark-connector/spark-doris-connector/target/spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT-shaded.jar

[INFO] 
[INFO] --- maven-javadoc-plugin:3.3.0:jar (attach-javadocs) @ spark-doris-connector-3.3_2.12 ---
[INFO] Skipping javadoc generation
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  01:02 min
[INFO] Finished at: 2022-07-14T06:00:47Z
[INFO] ------------------------------------------------------------------------
2. spark-3.3.0 环境配置
  1. 下载spark二进制压缩包并解压。
    wget https://dlcdn.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
tar -xzvf spark-3.3.0-bin-hadoop3.tgz
  2. spark环境配置：vim /etc/profile
    export SPARK_HOME=/opt/software/spark-3.3.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin
  3. 将编译好的spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT.jar复制到spark的jars目录
    cd  /opt/software/doris-spark-connector/spark-doris-connector/target/
cp spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT.jar /opt/software/spark-3.3.0-bin-hadoop3/jars/
3. doris-spark-connector实战
  1. 在Doris建立如下表结构：
     CREATE TABLE `expamle_tbl_1` (
  `user_id` largeint(40) NOT NULL COMMENT "id",
  `date` date NOT NULL COMMENT "",
  `city` varchar(800) NULL COMMENT "",
  `age` smallint(6) NULL COMMENT "",
  `sex` tinyint(4) NULL COMMENT "",
  `last_visit_date` datetime REPLACE NULL DEFAULT "1970-01-01 00:00:00" COMMENT "",
  `cost` bigint(20) SUM NULL DEFAULT "0" COMMENT "",
  `max_dwell_time` int(11) MAX NULL DEFAULT "0" COMMENT "",
  `min_dwell_time` int(11) MIN NULL DEFAULT "99999" COMMENT ""
) ENGINE=OLAP
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"in_memory" = "false",
"storage_format" = "V2"
)
  2. 查询表内数据
    mysql> select * from expamle_tbl_1;
+---------+------------+------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+------+------+------+---------------------+------+----------------+----------------+
| 1       | 2022-06-30 | 1    |   10 |    3 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 2    |    2 |    2 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 4    |    4 |    4 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 5    |    5 |    5 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 3       | 2022-06-30 | 3    |    3 |    3 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
+---------+------------+------+------+------+---------------------+------+----------------+----------------+
5 rows in set (0.00 sec)

mysql>
  3. 基于doris-spark-connector通过RDD读取Doris数据
import org.apache.doris.spark._
val dorisSparkRDD = sc.dorisRDD(
  tableIdentifier = Some("example_db.expamle_tbl_1"),
  cfg = Some(Map(
    "doris.fenodes" -> "127.0.0.1:8030",
    "doris.request.auth.user" -> "root",
    "doris.request.auth.password" -> ""
  ))
)
dorisSparkRDD.collect()

可以看到有如下结果输出：

res0: Array[AnyRef] = Array([1, 2022-06-30, 1, 10, 3, 1970-01-01 00:00:00, 0, 0, 99999], [2, 2022-06-30, 2, 2, 2, 1970-01-01 00:00:00, 0, 0, 99999], [2, 2022-06-30, 4, 4, 4, 1970-01-01 00:00:00, 0, 0, 99999], [2, 2022-06-30, 5, 5, 5, 1970-01-01 00:00:00, 0, 0, 99999], [3, 2022-06-30, 3, 3, 3, 1970-01-01 00:00:00, 0, 0, 99999])
  1. 基于doris-spark-connector通过DataFrame读取Doris数据
import org.apache.doris.spark._
val dorisSparkDF = spark.read.format("doris").option("doris.table.identifier", "example_db.expamle_tbl_1").option("doris.fenodes", "127.0.0.1:8030").option("user", "root").option("password", "").load()

dorisSparkDF.show()

执行结果如下：

scala> dorisSparkDF.show()
+-------+----------+-------+---+---+-------------------+----+--------------+--------------+
|user_id|      date|   city|age|sex|    last_visit_date|cost|max_dwell_time|min_dwell_time|
+-------+----------+-------+---+---+-------------------+----+--------------+--------------+
|      1|2022-06-30|      1| 10|  3|1970-01-01 00:00:00|   0|             0|         99999|
|      2|2022-06-30|      2|  2|  2|1970-01-01 00:00:00|   0|             0|         99999|
|      2|2022-06-30|      4|  4|  4|1970-01-01 00:00:00|   0|             0|         99999|
|      2|2022-06-30|      5|  5|  5|1970-01-01 00:00:00|   0|             0|         99999|
|      3|2022-06-30|      3|  3|  3|1970-01-01 00:00:00|   0|             0|         99999|
  1. 基于doris-spark-connector通过DataFrame向Doris写入数据

（1）构造数据

val mockDataDF = List((5, "2022-07-16", "xian",31,2,"2022-07-15",200,10,20),(6, "2022-07-16", "beijing",32,3,"2022-07-15",200,10,20)).toDF("user_id", "date", "city", "age", "sex", "last_visit_date", "cost","max_dwell_time","min_dwell_time")

mockDataDF.show(5)

（2）数据写入

mockDataDF.write.format("doris").option("doris.table.identifier", "example_db.expamle_tbl_1").option("doris.fenodes", "127.0.0.1:8030").option("user", "root").option("password", "").option("doris.write.fields","user_id,date,city,age,sex,last_visit_date,cost,max_dwell_time,min_dwell_time").save()

（3）从Doris查询验证写入结果：

mysql> select * from expamle_tbl_1;
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city    | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
| 1       | 2022-06-30 | 1       |   10 |    3 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 2       |    2 |    2 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 4       |    4 |    4 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 5       |    5 |    5 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 3       | 2022-06-30 | 3       |    3 |    3 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 5       | 2022-07-16 | xian    |   31 |    2 | 2022-07-15 00:00:00 |  400 |             10 |             20 |
| 6       | 2022-07-16 | beijing |   32 |    3 | 2022-07-15 00:00:00 |  400 |             10 |             20 |
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
7 rows in set (0.00 sec)

mysql>
  1. 基于doris-spark-connector通过Spark SQL读取Doris数据
import org.apache.doris.spark._

  val doris = spark.sql(
      s"""
        |CREATE TEMPORARY VIEW spark_doris
        |USING doris
        |OPTIONS(
        | "table.identifier"="example_db.expamle_tbl_1",
        | "fenodes"="127.0.0.1:8030",
        | "user"="root",
        | "password"=""
        |);
        |""".stripMargin)
spark.sql("SELECT * FROM spark_doris;").show

查询结果如下：

scala> spark.sql("SELECT * FROM spark_doris;").show
+-------+----------+-------+---+---+-------------------+----+--------------+--------------+
|user_id|      date|   city|age|sex|    last_visit_date|cost|max_dwell_time|min_dwell_time|
+-------+----------+-------+---+---+-------------------+----+--------------+--------------+
|      1|2022-06-30|      1| 10|  3|1970-01-01 00:00:00|   0|             0|         99999|
|      2|2022-06-30|      2|  2|  2|1970-01-01 00:00:00|   0|             0|         99999|
|      2|2022-06-30|      4|  4|  4|1970-01-01 00:00:00|   0|             0|         99999|
|      2|2022-06-30|      5|  5|  5|1970-01-01 00:00:00|   0|             0|         99999|
|      3|2022-06-30|      3|  3|  3|1970-01-01 00:00:00|   0|             0|         99999|
|      5|2022-07-16|   xian| 31|  2|2022-07-15 00:00:00| 400|            10|            20|
|      6|2022-07-16|beijing| 32|  3|2022-07-15 00:00:00| 400|            10|            20|
+-------+----------+-------+---+---+-------------------+----+--------------+--------------+
  1. 基于doris-spark-connector通过Spark SQL向Doris写入数据

（1）数据写入：

spark.sql("INSERT INTO spark_doris VALUES (4,'2022-07-15','1',30,1,'2022-07-15',200,10,20);")

（2）从Doris查询验证写入结果：


mysql> select * from expamle_tbl_1;
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city    | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
| 1       | 2022-06-30 | 1       |   10 |    3 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 2       |    2 |    2 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 4       |    4 |    4 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 2       | 2022-06-30 | 5       |    5 |    5 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 3       | 2022-06-30 | 3       |    3 |    3 | 1970-01-01 00:00:00 |    0 |              0 |          99999 |
| 5       | 2022-07-16 | xian    |   31 |    2 | 2022-07-15 00:00:00 |  400 |             10 |             20 |
| 6       | 2022-07-16 | beijing |   32 |    3 | 2022-07-15 00:00:00 |  400 |             10 |             20 |
| 4       | 2022-07-15 | 1       |   30 |    1 | 2022-07-15 00:00:00 |  200 |             10 |             20 |
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
8 rows in set (0.00 sec)
【doris】应用篇（四）spark-doris-connector
dongfenggujian的博客
07-02 213
本文介绍了spark-doris-connector框架的使用方法，该框架通过Spark并发能力提升Doris数据吞吐量。主要内容包括：1) 版本匹配问题，建议选择兼容版本；2) 数据读取和写入的代码示例，与Spark写法兼容；3) 优化参数配置，如内存限制、批量大小等；4) 常见问题和注意事项，如版本兼容性、stream load异常等。该框架还支持通过Doris Catalog和Spark SQL进行数据交互，具体可参考官方文档。使用时需注意参数调优和异常处理。
Doris与Spark集成：构建大数据批流一体平台
最新发布
小白菜的博客
10-27 929
本文旨在解决企业“批处理与流处理割裂”的痛点，通过Doris与Spark的集成，实现一套架构处理两类数据（批量历史数据+实时流数据），最终达到“数据实时可见、分析实时可用”的目标。Doris与Spark的核心概念解析；集成原理与架构设计；从0到1的项目实战（环境搭建+代码实现）；实际应用场景与未来趋势。背景：为什么需要批流一体？概念：Doris（超级书架）与Spark（超级工厂）是什么？原理：两者如何集成？（架构+流程图）实战：用Docker搭建环境，编写批量/实时任务代码；
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
spark sql读取hive数据直接写入doris，离线批量导入
qq_31866793的博客
09-16 3222
一，sparksql读取hive表 二，spark自定义输出 三，通过streamload方式数据写入doris 四，测试 五，总结
Apache Doris 生态扩展及优化：Spark Doris Connector；Flink Doris Connector；DataX DorisWriter数据同步；JDBC Catalog
学亮编程手记
02-12 2499
无论是DataStream API 还是SQL API 读取Doris中数据时，目前仅支持批读取。Flink向Doris中写入数据时底层会转换成Stream Load方式向Doris加载数据，这种速度快，每次执行代码都会生成一个Stream Load对应的Label ,在代码中或者SQL Connector中可以指定，建议加上UUID随机生成。否则每次执行代码前还需执行clean label from db 来清除对应Doris 库中的Label。
【亲测免费】 Apache Doris Spark Connector 使用教程
gitblog_01136的博客
08-07 651
Apache Doris Spark Connector 使用教程 1. 项目的目录结构及介绍 Apache Doris Spark Connector 是一个用于连接 Apache Doris 和 Apache Spark 的开源项目。以下是其主要目录结构及其介绍： doris-spark-connector/ ├── README.md ├── build.sbt ├── project │ ...
doris-flink-connector
03-25
官网没有提供下载编译好的 connector ，需要自己编译，我将编译好的上传，供大家下载。 flink 版本1.13.5； <scala.version>2.12 <flink.version>1.13.5 <libthrift.version>0.13.0 <arrow.version>5.0.0 ...
spark-3.3.0
07-01
spark 3.3.0
spark-3.3.0-bin-hadoop3.3.2.tgz
09-24
本压缩包“spark-3.3.0-bin-hadoop3.3.2.tgz”包含了在Hadoop 3.3.2环境下运行Spark所需的所有组件和配置文件。 1. **Spark核心概念** Spark的核心是弹性分布式数据集（Resilient Distributed Datasets, RDD），这...
spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz
11-23
spark 3.3.1 使用 cdh 6.3.2 的hadoop版本。可以直接兼容并配合文档进行cdh spark-sql的使用。 具体查看https://editor.csdn.net/md/?articleId=127997188
spark-3.3.0-bin-hadoop3.tgz
07-16
"spark-3.3.0-bin-hadoop3.tgz"是一个包含Apache Spark 3.3.0版本和Hadoop 3兼容构建的压缩包文件。这个压缩包为用户提供了一个完整的Spark运行环境，使得在Hadoop 3环境下运行Spark应用程序变得简单。 Spark的核心...
apache-doris-spark-connector-3.1_2.12-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-3.1_2.12-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：3.x Scala Version：2.12 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
spark-atlas-connector:一个Spark Atlas连接器，用于跟踪Apache Atlas中的数据沿袭
05-26
Spark Atlas连接器 用于跟踪Spark SQL / DataFrame转换并将元数据更改推送到Apache Atlas的连接器。 此连接器支持跟踪： SQL DDL，例如“创建/删除/更改数据库”，“创建/删除/更改表”。 SQL DML，例如“ CREATE TABLE tbl AS SELECT”，“ INSERT INTO ...”，“ LOAD DATA [LOCAL] INPATH”，“ INSERT OVERWRITE [LOCAL] DIRECTORY”等。 具有输入和输出的DataFrame转换 机器学习管道。 该连接器将与Hive，HDFS等其他系统关联，以跟踪Atlas中数据的生命周期。 如何建造 要使用此连接器，您将需要最新版本的Spark（Spark 2.3+），因为大多数功能仅在Spark 2.3.0+中存在。 要构建此项目，请执行： mv
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
helloxiaozhe的博客
01-12 2374
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
Apache Doris Spark Connector 教程
gitblog_00225的博客
08-07 536
Apache Doris Spark Connector 教程 doris-spark-connectorSpark Connector for Apache Doris项目地址:https://gitcode.com/gh_mirrors/do/doris-spark-connector 1. 项目介绍 Apache Doris Spark Connector 是一个用于连接Apache Do...
生态扩展Spark Doris Connector
qq_43688472的博客
10-31 1748
将编译好的spark-doris-connector-3.3_2.12-1.3.0-SNAPSHOT.jar复制到spark的jars目录。在源码目录下执行： sh build.sh 根据提示输入你需要的 Scala 2.12与 Spark3.2.3 版本进行编译。代码库地址：https://github.com/apache/doris-spark-connector。修改custom_env.sh.tpl文件，重命名为custom_env.sh。spark环境配置：vim /etc/profile。
Spark-Doris-Connecter实战
qq_43545096的博客
02-03 999
Spark-Doris-Connecter实战
spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz
07-02
spark-3.3.0-bin-hadoop3.tgz和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark开源项目提供的两种软件包。它们都是用于在分布式计算环境中进行大规模数据处理和分析的工具。 spark-3.3.0-bin-hadoop3.tgz包含了...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值