Airbyte入门

Airbyte 后端技术栈
Java 17

框架:Jersey

API: OAS3

数据库:PostgreSQL

单元和E2E测试:JUnit 5

编排:Temporal

连接器技术栈
连接器可以用任何语言编写。但是,最常见的语言是:

Python3.9.0

Java 17

前端技术栈
Node.js 16

TypeScript

Web 框架/库:React

部署
部署Airbyte开源只需要两个步骤。

在您的工作站上安装 Docker。确保您使用的是最新版本的 .docker-compose

在终端中运行以下命令:

git clone https://github.com/airbytehq/airbyte.git

cd airbyte

docker compose up

一旦您看到Airbyte横幅,就可以在浏览器输入 http://localhost:8000 访问Airbyte了!系统将要求您输入用户名和密码,默认用户名和密码是 airbyte 和password,部署到服务器后,请务必在.env文件中更改默认用户和密码。

内部数据库
Airbyte 使用Postgres来存储内部状态和元数据。此数据由各种 Airbyte 组件存储和操作,但您可以通过以下两种方式管理此数据库的部署:

使用 Airbyte Docker 服务的默认 Postgres 数据库:。docker-compose.ymlairbyte/db

通过专用的自定义 Postgres 实例。在Docker或Kubernetes上部署关键任务数据库不是一个好的做法。 使用专用实例将为您的 Airbyte 部署提供更高的可靠性。 此外,使用云托管的 Postgres 实例(例如 AWS RDS 我们的 GCP 云 SQL),您将受益于自动备份和细粒度大小调整。您可以从一个非常小的实例开始,但根据您的 Airbyte 使用情况,如果不截断作业历史记录,作业数据库可能会增长并需要更多存储空间。airbyte/dbdocker-compose.yml

各种实体持久保存在两个内部数据库中:

作业数据库

有关 Airbyte 作业和各种运行时元数据执行的数据。

有关 Airbyte 使用的内部业务流程协调程序的数据,http://Temporal.io(任务、工作流数据、事件和可见性数据)。

配置数据库

连接器、同步连接和各种 Airbyte 配置对象。

注意:管道传输的实际数据永远不会保留在此内部数据库中

请注意,源(或目标)连接器中的实际数据永远不会传输或保留在此内部数据库中。


————————————————
版权声明:本文为优快云博主「AirbyteCN」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.youkuaiyun.com/weixin_38030820/article/details/129165060

### 如何在Linux上部署Airbyte #### 准备工作环境 为了确保顺利安装,需要确认服务器满足最低硬件需求并已更新到最新状态。建议的操作系统版本为Ubuntu 20.04及以上。 ```bash sudo apt-get update && sudo apt-get upgrade -y ``` #### 安装依赖项 安装必要的软件包来支持Docker以及后续的Airbyte部署过程[^1]。 ```bash sudo apt-get install -y curl gnupg ca-certificates lsb-release ubuntu-keyring curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io -y ``` #### 部署Airbyte平台 下载官方提供的启动脚本,并通过它初始化Airbyte实例。 ```bash AIRBYTE_VERSION=latest wget https://github.com/airbytehq/airbyte/releases/download/$AIRBYTE_VERSION/entrypoint.sh chmod +x entrypoint.sh ./entrypoint.sh migrate docker-compose up -d ``` 上述命令会拉取最新的镜像文件并按照默认配置运行容器化服务。 #### 访问Web界面 一旦完成设置,在浏览器地址栏输入`http://<your_server_ip>:8000`即可访问图形化的管理控制台。首次登录时可能需要一些时间让所有组件完全准备好。 #### 后续操作指南 成功进入仪表板之后可以创建连接器、定义数据同步任务等更多高级功能探索。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值