Apache Doris Spark Connector 使用教程

Apache Doris Spark Connector 使用教程

1. 项目的目录结构及介绍

doris-spark-connector/
├── build.sh
├── customer_env.sh.tpl
├── pom.xml
├── src/
│   ├── main/
│   │   ├── java/
│   │   │   └── org/
│   │   │       └── apache/
│   │   │           └── doris/
│   │   │               └── spark/
│   │   │                   └── connector/
│   │   │                       ├── DorisStreamLoad.java
│   │   │                       ├── DorisWriter.java
│   │   │                       └── ...
│   │   └── resources/
│   └── test/
│       └── java/
│           └── org/
│               └── apache/
│                   └── doris/
│                       └── spark/
│                           └── connector/
│                               └── ...

• build.sh: 构建脚本。
• customer_env.sh.tpl: 环境配置模板文件。
• pom.xml: Maven 项目配置文件。
• src/main/java/org/apache/doris/spark/connector/: 主要代码目录，包含连接器的主要实现类。
• src/test/java/org/apache/doris/spark/connector/: 测试代码目录。

2. 项目的启动文件介绍

项目的启动文件主要是 DorisStreamLoad.java 和 DorisWriter.java，它们位于 src/main/java/org/apache/doris/spark/connector/ 目录下。

• DorisStreamLoad.java: 负责将数据流式加载到 Doris 中。
• DorisWriter.java: 负责将数据写入 Doris。

3. 项目的配置文件介绍

项目的配置文件主要是 customer_env.sh.tpl，它是一个环境配置模板文件。在使用前需要将其复制为 customer_env.sh 并进行相应的配置。

配置文件中可能包含以下内容：

# Doris 配置
export DORIS_FE_HOST="your_doris_fe_host"
export DORIS_FE_PORT="your_doris_fe_port"
export DORIS_USER="your_doris_user"
export DORIS_PASSWORD="your_doris_password"

# Spark 配置
export SPARK_HOME="your_spark_home"
export SPARK_MASTER="your_spark_master"

请根据实际情况进行配置。

---

以上是 Apache Doris Spark Connector 的基本使用教程，希望对您有所帮助。