Apache Doris (六十二）： Spark Doris Connector - (2)-使用

已于 2024-01-09 13:15:04 修改
阅读量1.3k 收藏 23
点赞数 26
分类专栏： 大数据OLAP体系技术栈 文章标签： apache spark 大数据 doris
于 2024-01-06 11:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_32020645/article/details/135398196
版权
本文详细介绍了如何将Apache Doris与Spark集成，包括将Spark-Doris-Connector加入本地Maven仓库，使用Spark Core、DataFrame和SQL读写Doris数据，以及StructuredStreaming操作Doris的实践。文中还提到了在使用StructuredStreaming时遇到的问题及解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 🏡 个人主页：IT贫道-优快云博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. 将编译jar包加入本地Maven仓库

2. Spark Core操作Doris

3. Spark DataFrame 操作Doris

4. Spark SQL操作Doris

5. StructuredStreaming 操作Doris

1. 将编译jar包加入本地Maven仓库

将spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT.jar放在D盘下，打开cmd输入如下命令将spark-doris-connector加入到maven本地仓库。

了解本专栏 订阅专栏 解锁全文
大数据Doris（六十二）：Spark Doris Connector代码操作
Lansonli（蓝深李）的博客
01-31 393
Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。编译成功后，会在 output/ 目录下生成文件。将此文件复制到 Spark 的 ClassPath 中即可使用 Spark-Doris-Connector。例如：Local 模式运行的 Spark，将此文件放入 jars/ 文件夹下。Yarn集群模式运行的Spark，则将此文件放入预部署包中。--Doris FE http 地址，支持多个地址，使用逗号分隔--
Apache Doris (六十三）： Spark Doris Connector - (3)-配置型及列映射关系
qq_32020645的博客
01-08 1304
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频。
Apache Doris 生态扩展及优化：Spark Doris Connector；Flink Doris Connector；DataX DorisWriter数据同步；JDBC Catalog
学亮编程手记
02-12 2087
无论是DataStream API 还是SQL API 读取Doris中数据时，目前仅支持批读取。Flink向Doris中写入数据时底层会转换成Stream Load方式向Doris加载数据，这种速度快，每次执行代码都会生成一个Stream Load对应的Label ,在代码中或者SQL Connector中可以指定，建议加上UUID随机生成。否则每次执行代码前还需执行clean label from db 来清除对应Doris 库中的Label。
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
helloxiaozhe的博客
01-12 1959
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
基于Spark3.3.0的doris-spark-connector实战
wangleigiser的博客
07-15 1990
想要更全面了解Spark内核和应用实战，可以购买我的新书。《图解Spark 大数据快速分析实战》(王磊)） 执行vim custom_env.sh ，修改custom_env.sh文件，添加如下内容： 基于spark3.3.0编译 编译结果 2. spark-3.3.0 环境配置 下载spark二进制压缩包并解压。 spark环境配置：vim /etc/profile 将编译好的spark-doris-connector-3.3_2.12-1.0.0-SNAPSH
Spark-Doris-Connecter实战
qq_43545096的博客
02-03 837
Spark-Doris-Connecter实战
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
apache-doris-spark-connector-3.1_2.12-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-3.1_2.12-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：3.x Scala Version：2.12 Apache Doris是一个现代MPP分析...
Apache Doris (六十一）： Spark Doris Connector - (1)-源码编译
qq_32020645的博客
01-05 1151
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频。
Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)
迷雾总会解
06-23 2490
准备表和数据： Spark 读写 Doris Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据，也支持通过Spark写入数据到Doris。代码库地址：https://github.com/apache/incubator-doris-spark-connector创建 maven 工程，编写 pom.xml 文件： 使用 Spark Doris Connector Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存
Apache Doris Spark Connector 使用教程
最新发布
gitblog_01136的博客
08-07 575
Apache Doris Spark Connector 使用教程 doris-spark-connectorSpark Connector for Apache Doris项目地址:https://gitcode.com/gh_mirrors/do/doris-spark-connector 1. 项目的目录结构及介绍 Apache Doris Spark Connector 是一个用于连接 ...
生态扩展Spark Doris Connector
qq_43688472的博客
10-31 1633
将编译好的spark-doris-connector-3.3_2.12-1.3.0-SNAPSHOT.jar复制到spark的jars目录。在源码目录下执行： sh build.sh 根据提示输入你需要的 Scala 2.12与 Spark3.2.3 版本进行编译。代码库地址：https://github.com/apache/doris-spark-connector。修改custom_env.sh.tpl文件，重命名为custom_env.sh。spark环境配置：vim /etc/profile。
spark采集接口数据入doris
weixin_45928691的博客
06-13 941
spark采集接口数据入doris通用方式。
spark读写Doris实现及Doris文档更新
HD0do的博客
05-08 7804
了解spark读写doris两种方案实现及doris官方文档更新介绍，更多埋点会话id切分文章参考
探索数据集成的新境界：Spark Connector for Apache Doris
gitblog_00029的博客
08-06 616
探索数据集成的新境界：Spark Connector for Apache Doris doris-spark-connectorSpark Connector for Apache Doris项目地址:https://gitcode.com/gh_mirrors/do/doris-spark-connector 在数据处理和分析的世界里，高效的数据集成是实现业务智能的关键。今天，我们将深入探讨...
Spark Doris Connector试错
程裕强的专栏
08-13 1415
http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9 import org.apache.doris.spark._ val dorisSparkRDD = sc.dorisRDD( tableIdentifier = Some("$YOUR_DORIS_DATABASE_NAME.$YOUR_DORIS_TABLE_NAM
spark导入doris的几种方式
炼数成器
08-11 2748
本文主要介绍通过spark导入doris的3种方式。
Apache Doris Spark Connector 1.0.1 版本发布
资源摘要信息:"apache-doris-spark-connector-3.1_2.12-1.0.1" ### Apache Doris 简介 Apache Doris 是一个高性能的现代化 MPP（Massively Parallel Processing，大规模并行处理）分析数据库产品。它特别适用于亚...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值