如何设置 Databend 开发环境

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

工欲善其事,必先利其器。在开启 Databend 贡献之旅前,一起来配置适合自己的开发环境吧。快速安装

快速安装

为方便开发者快速建立开发环境,Databend 维护了一个复杂的 shell 脚本,位于 scripts/setup/dev_setup.sh。只需执行一条指令即可完成开发环境配置:

$ make setup -d

注意:此过程会辅助安装部分 python 环境,可能会对本地原开发环境造成影响,建议预先执行以下命令以创建并启用专属虚拟环境。

$ python -m venv .databend
$ source .databend/bin/activate

如果遇到依赖缺失问题,可以参考「分步安装 - 测试必备」这一部分的内容安装。分步安装

分步安装

这里以 Fedora 36 为例,考虑到不同系统和发行版之间的差异,你可能需要自行安装 gcc,python 和 openssl。

1.安装 Rust toolchain:
推荐使用 rustup 来管理 Rust toolchain ,参考 https://rustup.rs/ 进行安装。对于 MacOS 和 Linux 用户,执行:

$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

Databend 通常使用最新发布的 nightly 工具链进行开发,相关信息记录在 rust-toolchain.toml 中。Rustup 会在使用时对工具链进行自动重载,安装时只需默认配置。

$ cargo build
info: syncing channel updates for 'nightly-2022-05-19-x86_64-unknown-linux-gnu'
info: latest update on 2022-05-19, rust version 1.63.0-nightly (cd282d7f7 2022-05-18)

2.安装必备依赖:
以下列出了一些安装构建和测试必备依赖的关键步骤,说明及报错信息以注释形式呈现。
构建必备:

# common-hive-meta-store 需要,thrift not found
$ sudo dnf install thrift
# openssl-sys 需要,Can't locate FindBin.pm, File/Compare.pm in @INC
$ sudo dnf install perl-FindBin perl-File-Compare
# prost-build 需要,is `cmake` not installed?
# The CMAKE_CXX_COMPILER: c++ is not a full path and was not found in the PATH.,安装 clang 时也会安装 gcc-c++ 和 llvm
$ sudo dnf install cmake clang

测试必备:

# 功能测试和后续体验需要
$ sudo dnf install mysql
# 包含目前功能测试和 lint 需要的所有 Python 依赖
$ cd tests
$ pip install poetry
$ poetry install
$ poetry shell
# sqllogic 测试需要(包含在上面步骤中,按需选用)
(tests) $ cd logictest
$ pip install -r requirements.txt
# fuzz 测试需要
(tests) $ cd fuzz
$ pip install -r requirements.txt

Lint 必备:

# taplo fmt 需要
$ cargo install taplo-cli

编辑器 - Visual Studio Code

1.插件推荐

rust-analyzer

  • 作者:The Rust Programming Language
  • 为 Visual Studio Code 提供 Rust 语言支持。

crates

  • 作者:Seray Uzgur
  • 帮助 Rust 开发者管理 Cargo.toml 中的依赖。仅支持来源为 crates.io 的依赖。

CodeLLDB

  • 作者:Vadim Chugunov
  • 由 LLDB 驱动的原生调试工具。支持调试 C++ 、Rust 和其他编译语言。

Remote - Containers

  • 作者:Microsoft
  • 在 Docker 容器内打开任何文件夹或 Repo ,并利用 Visual Studio Code 的全部功能。

2. 利用 Dev Containers 开发(For Linux)

安装「Remote - Containers」插件,打开 Databend 后会看到右下角弹出窗口并提示「Reopen in Container」。

安装 Docker

根据 Docker Docs - Install 安装并启动对应你发行版的 docker 。以 Fedora 36 为例,步骤如下:

# 移除旧版本 docker
$ sudo dnf remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine
# 设置存储库
$ sudo dnf -y install dnf-plugins-core
$ sudo dnf config-manager \
    --add-repo \
    https://download.docker.com/linux/fedora/docker-ce.repo
# 安装 Docker Engine
$ sudo dnf install docker-ce docker-ce-cli containerd.io docker-compose-plugin

将当前 User 添加到 docker group 中参考 Docker Docs - PostInstall中 Manage Docker as a non-root user 一节配置,可能需要重启。
步骤如下

# 添加 docker 用户组
$ sudo groupadd docker
# 将用户添加到 docker 这个组中
$ sudo usermod -aG docker $USER
# 激活更改
$ newgrp docker
# 更改权限以修复 permission denied
$ sudo chown "$USER":"$USER" /home/"$USER"/.docker -R
$ sudo chmod g+rwx "$HOME/.docker" -R

其他步骤

启用 Docker :

$ sudo systemctl start docker

点击左下角「打开远程窗口」选中「Reopen in Container」即可体验。

其他实用工具推荐

这里列出一些可能有助于 Databend 开发的实用工具,根据实际情况按需选用。

1.starship

轻量级、反应迅速、可无限定制的高颜值终端!

 参考 starship - installation 进行安装。

 

curl -sS https://starship.rs/install.sh | sh

2.hyperfine

命令行基准测试工具。

参考 hyperfine - installation进行安装。

cargo install hyperfine

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

文章首发于公众号:Databend

 

解决Can't locate ThreadQueue.pm Can't locate ThreadQueue.pm 立即下载

相关推荐

解决Can’t locate ExtUtils/MakeMaker.pm in @INC报错

在安装mha4mysql时,大概步骤是:解压,perl Makefile.PL,make, make install。在执行 perl Makefile.PL 报错如下,简单记录一下解决方法 # perl Makefile.PL Can’t locate ExtUtils/MakeMaker.pm in @INC (@INC contains: inc /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5

openssl 之 Can‘t locate FindBin.pm in @INC

Can't locate FindBin.pm

enjoy.day 2382

ESXI添加硬盘时提示 无法创建 VMFS 数据存储 - 无法更改主机配置

ESXI添加硬盘时提示 无法创建 VMFS 数据存储 - 无法更改主机配置1.打开ESXI的SSH2.找到不能添加的硬盘路径3.用SSH操作 1.打开ESXI的SSH 2.找到不能添加的硬盘路径 我的是第一个,找到你要添加但是不能添加的那个硬盘,点进去。 完整的路劲为:1/2 比如我的: /vmfs/devices/disks/t10.ATA_____ST500LT0122D1DG142___________________________________S3PHRNHQ (比较长哈!) 3.用SSH

AI_DOG的博客 2万+

一种解决方法:Can‘t locate FindBin.pm in @INC (you may need to install the FindBin module)

Can't locate FindBin.pm in @INC (you may need to install the FindBin module)

qq_45007100的博客 5681

【IT小趣闻】免费的DeepSeek是如何赚钱的?

导语:目前很多的通用人工智能也就是所谓的AGI例如文心一言、豆包、通义千问和最近大火的DeepSeek都是免费给普通用户使用的,对开源商业模式不太熟悉的普通人可不太了解这免费背后的商业套路,下面我们就一起来揭秘。开源模式能降低用户信任成本、加速技术普及,而商业化服务则针对企业级需求。DeepSeek 可通过组合上述策略,在服务开发者社区的同时,满足企业客户的深度需求,实现可持续发展。你也看出来了,上边是DeepSeek生成的,讲的还是挺明白的。

SunMy的博客 1773

切比雪夫插值

切比雪夫插值是一种基于切比雪夫节点的多项式插值方法,其优势是减少插值误差(特别是龙格现象:表现为高维插值时在边缘处插值误差骤增)。本文对其基本操作进行说明。

平和少年的博客 1648

解决Can‘t locate FindBin.pm in @INC (you may need to install the FindBin module)

解决Can't locate FindBin.pm in @INC (you may need to install the FindBin module)

Shirui_Zhou的博客 2068

会话管理技巧——如何优化OpenClaw的上下文理解能力(2026进阶版)

本文深入探讨了OpenClaw系统的会话管理技术,重点介绍了会话定义、生命周期管理和上下文优化策略。会话管理包含会话ID、用户信息、状态等核心要素,以及创建、维护、终止和恢复四个生命周期阶段。上下文管理通过ContextManager类实现,支持创建、更新、消息添加和变量管理等功能,并采用历史记录机制确保会话连续性。ContextOptimizer类则负责应用优化规则,通过消息和变量压缩等技术提升系统性能。这些技术共同构建了OpenClaw强大的会话管理能力,为AI助手提供了高质量的交互体验基础。

博客 495

交叉编译解决:Can‘t locate FindBin.pm in @INC (you may need to install the FindBin module)

交叉编译openssl的时候,返回上述错误。但是非交叉编译不会有这个错误。可能是因为使用了交叉工具 toolchain 的perl 导致的。有些交叉工具会编译提供一整个的usr目录,并且在环节变量中将自己的目录添加到PATH中,这样一些命令就会使用交叉工具的。执行./Configure 指定系统的 perl 脚本解释器地址。

sinat_31066863的博客 1315

银河麒麟V10等保加固清单:安全基线配置一篇搞定(附逐项检查表)

通过限制使用SSH直接以root身份登录,禁用公钥登录的方式加强SSH服务的安全性。更改SSH默认端口可在一定程度上防止被黑客使用大批量扫描方式攻击。通过修改SSH的配置文件限制可以使用SSH服务远程管理的主机。

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 822

解密大文件:Python中的AES-128-CBC解密实践

本文介绍了使用Python的pyca/cryptography库处理AES-128-CBC加密大文件的方法。详细讲解了密钥/IV设置、加密/解密流程及PKCS7填充操作,建议采用分块处理(如2GB)优化性能。同时强调了CBC模式的数据完整性风险,推荐考虑AES-GCM等认证加密模式,并指出填充顺序和块大小选择对处理效果的影响。通过具体代码示例,展示了如何安全高效地加密解密数百GB文件。

2501_90323865的博客 129

Databend 开源周报第 122 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1177

基于ESP32和OV5640的目标检测系统

本文详细介绍了基于ESP32-S3和OV5640摄像头构建目标检测系统的完整方案。系统采用YOLOv8-Nano轻量级模型,通过INT8量化实现边缘部署,在UXGA分辨率下达到25fps帧率。文章从硬件选型、图像采集优化、模型量化部署、实时推理流水线构建等维度展开,重点解决了内存管理、电源稳定性和异常处理等嵌入式系统关键问题。该方案在资源受限条件下实现了150ms以内的端到端延迟,为物联网视觉应用提供了低成本、低功耗的解决方案,适用于智能家居、工业检测等多个场景。

reset2021的博客 329

【Databend】基础函数应用

本文主要介绍 Databend 中常用的函数,并配合实际操作演示相应的函数结果。

小发菜 1237

用Virtuoso和Abstract完成gds2lef

需要用到的工具有virtuoso和abstract。 数模混合的项目通常需要模拟完成模块设计,把接去数字的pin打上label(text),数字的floorplan才能正式开始。 如果只需要简单的数字PR boundary和pin点位置,那么只使用virtuoso就够了,还想把模拟版图都转成lef就要用到abstract工具。 1.PR boundary+pin 1)在virtuoso中打开layout a) Gui操作: Create->P&R Objects->

m0_61544122的博客 8754

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍

Databend 是一款使用 Rust 研发的新一代云原生数据仓库,完全面向云架构并基于对象存储构建。它具备即时扩缩容能力,能够在数分钟内增加数百倍的算力,为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据,统一计算入口,供多用种业务使用,从而助力企业更准确地洞察业务、制定战略,很好的满足了客户私有化部署的不同需求。

Databend的博客 959

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【Databend】数据类型

介绍 Databend 数据类型,并且记录工作使用中可能遇到的问题。

小发菜 1109

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

如何在 DataGrip 中 连接 Databend

通过以上步骤,我们成功在 DataGrip 中配置了 Databend 数据库连接。虽然 DataGrip 默认不支持 Databend,但通过创建自定义 Driver 和正确配置 JDBC 连接参数,我们可以充分利用 DataGrip 强大的数据库管理功能来操作 Databend。这种配置方式不仅适用于 Databend Cloud,同样适用于自部署的 Databend 实例。

Databend的博客 955

Databend 开源周报 第 99 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 992

Databend 开源周报 第 78 期

是一款强大的云数仓。专为弹性和高效设计。自由且开源。。

Databend的博客 572

使用 Databend 全新体验!一文看懂 Databend 可视化管控平台 BendDeploy

Databend 提供了一套基于 Kubernetes 的标准化私有部署管控平台——BendDeploy,帮助用户快速、安全地实现 Databend 多集群、多租户的部署和管理。BendDeploy 提供了简单易用的可视化运维体验,极大地提升运维效率,减少错误和中断。通过 BendDeploy,用户可以实现多租户管理、集群部署、集群扩缩、集群升级、节点管理等操作。此外,BendDeploy 还提供了日志收集、查询和分析能力,将日志收拢到一个平台中,简化了操作。

Databend的博客 1091

Databend in 2022

社区同学为 Databend 实现了 SQLancer 所支持的 TLP、QPS、NoREC 全部三种测试方案,并以及合并到上游的 main 分支之中,发现并修复数十处潜在的 Bug ,进一步保障了 Databend 执行的正确性。生态和用户是相辅相成的,繁荣的生态可以吸引更多用户体验和参与到 Databend 社区之中,而随着用户需求的进一步落地,生态也能够获得更加长足的进步。用户是 Databend 赖以成长的土壤,不光支持着 Databend 的开发,也为 Databend 社区注入了更多活力。

Databend的博客 823

玩转 Databend UDF

Lambda UDF 是 Databend 中最简单的 UDF 形式,完全通过 SQL 语句定义和执行表达式,适合简单的数据转换和计算。我们可以在 SQL 中定义一个闭包函数,然后进行调用。│ UInt8 ││ 6 ││ Int64 ││ 33 │纯 SQL 实现,无需外部语言支持无法支持递归调用执行性能受表达式定义影响Databend 的多形态 UDF 支持为数据处理提供了极大的灵活性。

Databend的博客 1065

Databend 开源周报第 104 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 968

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

Databend 为什么使用 Rust 开发?

11 月 30 日,Rust China Tour 武汉站在武汉恺德光谷城际酒店举行。本次活动汇聚了来自 Databend、GreptimeDB、华中科技大学的多位 Rust 技术专家和研究者,共同探讨 Rust 语言在前沿技术中的创新应用。Databend 数据库研发工程师张祖前在活动中带来主题演讲《云原生数仓 Databend 的 Rust 开发实践》,重点探讨 Databend 的设计与开发过程,为何选择 Rust 进行开发,以及在使用 Rust 开发过程中的心得与经验。

Databend的博客 1314
上一篇: Rust 并发安全相关的几个概念(下)
下一篇: OpenRaft 在交易撮合引擎中的应用
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值