BitSail 项目使用教程

BitSail 项目使用教程

bitsail BitSail is a distributed high-performance data integration engine which supports batch, streaming and incremental scenarios. BitSail is widely used to synchronize hundreds of trillions of data every day. 项目地址: https://gitcode.com/gh_mirrors/bi/bitsail

1. 项目的目录结构及介绍

BitSail 的项目目录结构如下：

.
├── .github
├── bitsail-base
├── bitsail-clients
├── bitsail-common
├── bitsail-components
├── bitsail-connectors
├── bitsail-cores
├── bitsail-dist
├── bitsail-shade
├── bitsail-test
├── bitsail-transforms
├── tools
├── website
├── .gitignore
├── .licenserc.yaml
├── CODE_OF_CONDUCT.md
├── LICENSE
├── NOTICE
├── README.md
├── README_zh.md
├── build.sh
├── package.json
├── pom.xml
├── test-e2e.sh
├── yarn.lock

各目录和文件的作用如下：

• .github: 存放 GitHub 的配置文件。
• bitsail-base: BitSail 的基础模块。
• bitsail-clients: BitSail 的客户端模块。
• bitsail-common: BitSail 的通用模块。
• bitsail-components: BitSail 的组件模块。
• bitsail-connectors: BitSail 支持的数据源连接器。
• bitsail-cores: BitSail 的核心模块。
• bitsail-dist: BitSail 的分发模块。
• bitsail-shade: BitSail 的遮光模块。
• bitsail-test: BitSail 的测试模块。
• bitsail-transforms: BitSail 的数据转换模块。
• tools: BitSail 的工具模块。
• website: BitSail 的网站模块。
• .gitignore: Git 忽略文件列表。
• .licenserc.yaml: 许可证配置文件。
• CODE_OF_CONDUCT.md: 项目行为准则。
• LICENSE: 项目许可证。
• NOTICE: 项目通知文件。
• README.md: 项目说明文件。
• README_zh.md: 项目中文说明文件。
• build.sh: 构建脚本。
• package.json: npm 包配置文件。
• pom.xml: Maven 项目配置文件。
• test-e2e.sh: 端到端测试脚本。
• yarn.lock: yarn 包锁文件。

2. 项目的启动文件介绍

项目的启动主要通过 build.sh 脚本进行。该脚本负责编译和打包项目，并启动 BitSail 服务。以下是 build.sh 脚本的主要内容：

#!/bin/bash

# 编译项目
mvn clean package

# 启动 BitSail 服务
java -jar bitsail-dist/target/bitsail-dist-*.jar

在实际使用中，你可能需要根据具体的环境和参数调整该脚本。

3. 项目的配置文件介绍

BitSail 的配置文件主要位于 bitsail-base 目录下。以下是主要的配置文件及其作用：

• application.properties: BitSail 的核心配置文件，用于定义各种运行参数，如数据源连接信息、数据处理逻辑等。
• config.json: JSON 格式的配置文件，用于配置任务参数。
• log4j.properties: 日志配置文件，用于定义日志级别、输出位置等。

例如，application.properties 文件可能包含如下内容：

# 数据源配置
dataSource.url=jdbc:mysql://localhost:3306/bitsail
dataSource.user=root
dataSource.password=secret

# 处理逻辑配置
processing.transform.type=MAP
processing.transform.params.key=value

# 日志配置
logging.level.root=INFO
logging.file.name=bisail.log

在启动项目之前，你需要根据实际情况修改这些配置文件，以确保 BitSail 能够正确连接到数据源并按预期工作。

bitsail BitSail is a distributed high-performance data integration engine which supports batch, streaming and incremental scenarios. BitSail is widely used to synchronize hundreds of trillions of data every day. 项目地址: https://gitcode.com/gh_mirrors/bi/bitsail