Feldera项目安装与配置指南

Feldera项目安装与配置指南

feldera Feldera Continuous Analytics Platform 项目地址: https://gitcode.com/gh_mirrors/fe/feldera

1. 项目基础介绍

Feldera是一个快速查询引擎，专为增量计算设计。它能够对任意的SQL程序进行增量评估，这使得它比现有的批处理引擎、仓库、流处理器或流数据库更加强大、表达能力强且性能更优。

Feldera使用的主要编程语言是Rust和Java。

2. 项目使用的关键技术和框架

• 增量计算：Feldera的核心是其增量计算能力，它仅针对数据的变化进行视图更新，而不是重新计算整个数据集。
• 全SQL支持：Feldera支持完整的SQL语法和语义，包括连接、聚合、分组、子查询、窗口函数、复杂数据类型、时间序列操作符、用户定义函数和递归查询。
• 高效性能：Feldera能够在不进行任何调优的情况下，在笔记本电脑上实现每秒处理数百万事件的高性能。
• 持久化存储：针对超过内存大小的数据集，Feldera能够高效地溢出到磁盘上，利用最新的NVMe存储技术。
• 一致性保证：Feldera提供强一致性保证，确保视图的状态始终与在批处理系统中运行相同的查询得到的结果一致。
• 连接器：Feldera提供了与多种批量和流数据源的连接器，如Kafka、HTTP、CDC流、S3、数据湖、仓库等。

3. 项目安装和配置

准备工作

在开始安装前，请确保你的系统已经安装以下依赖：

• Rust工具链
• cmake
• libssl-dev
• Java开发工具包（JDK）版本19或更高
• Maven
• Bun

安装步骤

1. 克隆项目仓库

   打开终端（或命令提示符），执行以下命令以克隆项目仓库：

   git clone https://github.com/feldera/feldera.git
   

2. 构建SQL编译器

   切换到sql-to-dbsp-compiler目录并执行构建脚本：

   cd sql-to-dbsp-compiler
   ./build.sh
   

3. 运行pipeline-manager

   返回到项目根目录，运行pipeline-manager：

   cargo run --bin=pipeline-manager --features pg-embed
   

4. 访问WebConsole

   运行上述命令后，你可以在浏览器中访问http://localhost:8080来查看Feldera WebConsole。

以上步骤将帮助你完成Feldera的安装和基本配置。要深入了解Feldera的功能和使用方法，建议查阅官方文档和教程。

feldera Feldera Continuous Analytics Platform 项目地址: https://gitcode.com/gh_mirrors/fe/feldera