构建并运行 Databend

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

今天 Databend 合并了一个重大重构,expression[1] 正式合并到 “main” 分支,为 Databend 装载了全新的静态类型系统和表达式计算框架。接下来一到两周内会进行全面测试,这个期间 nightly release 停发。如果大家对这套 New Expression 系统感兴趣,不妨参考这篇文章,亲自动手体验一下。

如何构建 Databend

Make

采用 “make” 构建的方式会调用预先设定好的脚本,脚本位于 “scripts/build” 路径下。

只开启默认特性,并且一次性构建 “databend-query”、“databend-meta”、“databend-metactl” 以及 “open-sharing” 四个程序。

参考之前文章(如何设置Databend开发环境),设置好开发环境

  • “make build” 可轻松构建 debug 版本。
  • “make build-release” 则会构建 release 版本,并会采用 objcopy 减少二进制体积。
  • “make build-native” 构建针对本机 CPU 优化的版本。

Cargo

使用 “cargo” 构建的好处在于可以按需开启特性,并灵活控制要构建的目标二进制文件。

常用的命令格式如:

RUSTFLAGS="--cfg tokio_unstable" cargo build --bin=databend-query --features=tokio-console

即可构建启用 “tokio-console” 支持的 “databend-query” ,使用 “RUSTFLAGS=”–cfg tokio_unstable"" 是因为 “tokio” 的 “tracing” 特性还没有稳定下来。

Databend features 速览

这里只介绍几个比较常用的特性,具体支持的特性可以查看 “Cargo.toml” 中的 “features” 字段。

  • “simd = [“common-arrow/simd”]”:默认开启的特性,启用 arrow2 的 SIMD 支持(meta & query)。
  • “tokio-console = [“common-tracing/console”, “common-base/tracing”]”:用于监控和调试异步调用程序(meta & query)。
  • “memory-profiling = [“common-base/memory-profiling”, “tempfile”]”:用于内存分析(meta & query)。
  • “hive = [“common-hive-meta-store”, “thrift”, “storage-hdfs”]”:用于提供 hive 支持(query)。

跨平台构建

Databend 提供 Docker “build-tool” Image,可以简化跨平台构建所需工作。

示例选用 “x86_64-unknown-linux-gnu” 目标平台,其他支持平台也类似:

IMAGE='datafuselabs/build-tool:x86_64-unknown-linux-gnu' RUSTFLAGS='-C link-arg=-Wl,--compress-debug-sections=zlib-gnu' ./scripts/setup/run_build_tool.sh cargo build --target x86_64-unknown-linux-gnu

如何运行Databend

一旦构建完成后,就可以在 target 目录下找到对应的二进制程序。对于 Databend 的运行,同样有多种可供选择的方式。

Make

Databend 同样预置了一些方便开发人员快速运行的 “make” 命令:

  • “make run-debug”:构建并运行 debug 版本。
  • “make run-release”:构建并运行 release 版本。
  • “make run-debug-management”:构建 debug 版本并以 management 模式运行。

如果你检查过位于 “scripts/ci/deploy” 的脚本,就会发现,这里本质上是直接执行了对应程序的二进制文件,并为其加载了位于 “scripts/ci/deploy/config” 目录下的相应配置。

Cargo

使用 “cargo” 也可以运行 Databend ,通常我们会推荐采用指定配置文件的方式来启动。

cargo run --bin databend-query -c scripts/ci/deploy/config/databend-query-embedded-meta.toml

执行上述命令可以以 embedded meta 的模式启用 “databend-query” 的单节点模式。如果不指定在 embedded meta 模式下运行,就必须提供 “your-meta-service-endpoints” 。

另外,如果有需要的话也可以参考 “scripts/ci/deploy/config” 中的文件编写自己的配置。

集群模式

Databend 总是推荐用户在生产环境中使用集群模式,为了方便模拟这一情况,也可以执行:

BUILD_PROFILE=release ./scripts/ci/deploy/databend-query-cluster-3-nodes.sh

来启动一个具有 3 个 “databend-meta” 节点和 3 个 “databend-query” 节点的集群,通过指定 “BUILD_PROFILE” 可以在 release 和 debug 版本间切换。

引用链接

[1] expression: https://github.com/datafuselabs/databend/pull/9411

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/
  • Twitter:https://twitter.com/Datafuse_Labs
  • Slack:https://datafusecloud.slack.com/
  • Wechat:Databend
  • GitHub :https://github.com/datafuselabs/databend
MySQL表名大小写敏感问题终极解决:lower_case_table_names=1不生效的3个隐藏坑 本文深入剖析了MySQL表名大小写敏感问题中,设置lower_case_table_names=1参数不生效的三个核心原因。关键在于理解该参数只能在数据库初始化前设置,并需排查配置文件优先级与正确停止服务的顺序。文章提供了从Windows迁移到Linux的完整避坑指南与验证方法,帮助DBA和开发者彻底解决这一跨平台兼容性难题。 阅读详情

相关推荐

微磁模拟实战指南:从OOMMF安装到首个3D模型运行

本文详细介绍了OOMMF微磁模拟软件的安装与使用,从环境配置到首个3D模型运行的完整教程。涵盖Windows、Linux和macOS平台的安装避坑指南,以及MIF文件编写、并行计算优化等实战技巧,帮助研究人员快速掌握这一开源工具在磁畴壁运动、磁滞回线等微磁学问题中的应用。

weixin_29294597的博客 155

Tokio Console 使用指南

--- ## 项目介绍 Tokio Console 是一个为基于 [Tokio](https://tokio.rs/) 的异步 Rust 应用设计的工具,它提供了实时的日志查看、性能监控以及调试辅助功能。通过集成 Tokio Console,开发者能够更便捷地理解和追踪其异步程序的运行状态,从而提升开发效率和应用维护性。 --- ## 项目快速启动 要快速启动 Tokio Console

gitblog_00312的博客 1149

大模型-internvl高通qnn运行源码解读

模型链接:https://huggingface.co/OpenGVLab/InternVL2-2B论文官方简要说明 https://internvl.github.io/blog/2024-07-02-InternVL-2.0中文解读 https://zhuanlan.zhihu.com/p/702946079在线demo https://internvl.opengvlab.com/

点滴的岁月 1835

探索Tokio-Console:异步Rust的调试利器

`tokio-console` 是一个专为异步Rust程序设计的诊断和调试工具。它由多个组件构成,包括一个用于流式传输诊断数据的网络协议、收集诊断数据的工具,以及显示和探索这些数据的客户端工具。该项目不仅支持命令行工具,还为图形或网页工具的实现提供了可能。 ## 项目技术分析 `tokio-console` 利用了gRPC和Protocol Buffers来定义和传输诊断数据,确保了数据在网络

gitblog_00494的博客 448

Matlab PolySpace 静态分析实战:从零搭建嵌入式代码安全防线

本文详细介绍了如何使用Matlab PolySpace进行嵌入式代码静态分析,从环境搭建到实战配置,帮助开发者提前发现内存溢出、未初始化变量等潜在缺陷。通过案例分享和进阶技巧,展示如何提升代码安全性和可靠性,特别适合汽车ECU、医疗设备等安全关键系统开发。

weixin_33701617的博客 606

Android真机调试——ADB调试(含华为手机无法找到设备)

本文以Huawei Nova7为例。

lianqi2003的博客 7867

cargo-make 使用教程

`cargo-make` 是一个 Rust 任务运行器和构建工具,旨在简化 Rust 项目的构建、测试和部署流程。它允许用户通过简单的 TOML 配置文件定义和配置任务,并按需执行这些任务。`cargo-make` 支持跨平台运行,适用于各种 Rust 项目,无论是简单的脚本还是复杂的构建流程。 ## 2. 项目快速启动 ### 安装 首先,确保你已经安装了 Rust 和 Cargo。然后,

gitblog_00860的博客 979

Databend Docker部署全攻略:10分钟本地体验企业级数据仓库功能

想要快速体验Databend这个开源云原生数据仓库的强大功能吗?通过Docker部署,你可以在10分钟内搭建一个完整的企业级数据仓库环境,无需复杂的安装配置过程。Databend作为新一代的Snowflake兼容仓库,支持SQL查询、实时数据分析、向量AI搜索等多种场景,让本地开发变得前所未有的简单高效。🚀 ## 📦 Docker快速部署步骤 ### 基础环境准备 确保你的系统已经安装了

gitblog_00484的博客 653

OpenClaw 开机自启配置:Windows/macOS/Linux 全平台技术指南

OpenClaw 开机自启全平台配置指南 本文提供了在Windows、macOS和Linux系统上配置OpenClaw开机自启的完整技术方案。主要内容包括: Windows配置:提供三种方法(Windows服务、任务计划程序、启动文件夹),详细说明服务脚本创建、服务注册和测试流程 macOS配置:使用LaunchAgent实现开机自启,包含配置文件创建和加载方法 Linux配置:通过systemd服务实现,包括服务单元文件创建和启用步骤 系统要求:明确硬件(64位CPU/4GB内存)和软件(各平台操作系统版

一键难忘的博客 2996

筹码峰五句口诀,看懂主力的秘密动作!(附实战图示)

筹码图的价值在于,它不像K线那样容易造假。主力可以骗线,但骗不了筹码分布。主力在不在;是吸筹还是出货;接下来是变盘还是震荡。这五句口诀可以说是“筹码阅读的入门圣经”:单峰坚挺变盘在即,双峰对垒高抛低吸;上峰不移主力在跑,多峰林立行情不止;下峰不移不离不弃,筹码识庄稳中取利!📌市场从来不是靠猜,而是靠看清。筹码,就是主力最真实的痕迹。如果你想学会提前布局、跟庄不被甩,学会看筹码峰——这一步必须打牢!

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1169

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能(1)

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!sudo chown (id−u):(id -u):(id−u):(id -g) /var/lib/databend 运行一个单节点的 Databend 服务 ./t

2401_84181058的博客 451

AI Agent驱动的多模态情感分析方法:从BERT到Vision Transformer的探索

情感分析(Sentiment Analysis)是自然语言处理(NLP)与计算机视觉(CV)中一项重要任务。传统的情感分析主要依赖于文本数据,但在现实应用中,情感往往通过 语言、语音、表情、姿态 等多模态信号共同传达。因此,结合 多模态深度学习 的 AI Agent 在情感理解中具有广阔的前景。

一键难忘的博客 740

使用 PGO 优化 Databend 二进制构建

运行过程中的收集到的数据最终需要使用 llvm-profdata 进行转换,经由 rustup 安装 llvm-tools-preview 组件可以提供 llvm-profdata ,或者也可以考虑使用最近版本的 LLVM 和 Clang 提供的这一程序。但是这些优化并不一定能够完全有效,在缺乏运行时信息的情况下,编译器无法考虑到程序的实际执行情况。PGO 可以基于应用程序在生产环境中的场景收集数据,从而允许优化器针对较热的代码路径优化速度并针对较冷的代码路径优化大小,为应用程序生成更快和更小的代码。

Databend的博客 374

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

利用 Databend 生态构建现代数据湖工作流

现代数据湖的典型特征之一是能够灵活和高效地利用云上的基础设施,并且使用对象存储作为数据的存储方案。作为一款云原生、湖仓一体的数据管理系统,Databend 基于对象存储进行设计,存算分离的架构进一步匹配云上计算资源灵活调度的模式,现代 MPP 架构和充分的优化能够充分释放算力。

Databend的博客 1157

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Databend 开源周报第 122 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1177

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍

Databend 是一款使用 Rust 研发的新一代云原生数据仓库,完全面向云架构并基于对象存储构建。它具备即时扩缩容能力,能够在数分钟内增加数百倍的算力,为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据,统一计算入口,供多用种业务使用,从而助力企业更准确地洞察业务、制定战略,很好的满足了客户私有化部署的不同需求。

Databend的博客 959

【Databend】基础函数应用

本文主要介绍 Databend 中常用的函数,并配合实际操作演示相应的函数结果。

小发菜 1237

【Databend】数据类型

介绍 Databend 数据类型,并且记录工作使用中可能遇到的问题。

小发菜 1109

Databend 开源周报 第 99 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 992

利用云原生数仓 Databend 构建 MySQL 的归档分析服务

MySQL 常用 OLTP 业务环境,一般会使用比较好的硬件资源来提供对外服务。现在 MySQL 数据对外提供的数据动不动好几个 T 也是正常的。在很多业务中,数据有较强的生命周期,在线一段时间后,可能就是失去业务意义,如:这类工作是 DBA 提出归档方案,由开发人员提出对哪些数据可以归档,规范后可以借助于自动化的执行完成。现在常见的归档方式一般分成两大类:MySQL & MariaDB,核心工具是:pt-archive 或是解析 binlog 获取归档的数据。这类方案中,一般是通过购买 PC 机,通常是大

Databend的博客 513

在 Confluent Cloud 上使用 Databend Kafka Connect 构建实时数据流同步

Confluent 提供了一个 connector hub,在这里可以找到所有已经内置到 Confluent Cloud 中的 Connector。对于没有内置的,Confluent 支持创建自定义 connector。通过以上步骤,我们就可以在 Confluent Cloud 与 Databend Cloud 之间,使用 Databend Kafka Connector 构建起二者之间的实时数据同步管道。

Databend的博客 966

Databend in 2022

社区同学为 Databend 实现了 SQLancer 所支持的 TLP、QPS、NoREC 全部三种测试方案,并以及合并到上游的 main 分支之中,发现并修复数十处潜在的 Bug ,进一步保障了 Databend 执行的正确性。生态和用户是相辅相成的,繁荣的生态可以吸引更多用户体验和参与到 Databend 社区之中,而随着用户需求的进一步落地,生态也能够获得更加长足的进步。用户是 Databend 赖以成长的土壤,不光支持着 Databend 的开发,也为 Databend 社区注入了更多活力。

Databend的博客 823

混合云案例:利用 Databend Cloud 高效加速私有 Databend 的策略与实施

通过 Databend Cloud,用户可以实现私有化大数据处理与公有云平台的一致性,充分利用 Databend Cloud 的弹性计算能力,快速完成大规模的分析 SQL 计算,使用后即可以释放。这种方法不仅提高了效率,还在成本控制方面提供了显著优势,为用户在数据驱动决策方面提供了强有力的支持。

Databend的博客 1064

Databend 为什么使用 Rust 开发?

11 月 30 日,Rust China Tour 武汉站在武汉恺德光谷城际酒店举行。本次活动汇聚了来自 Databend、GreptimeDB、华中科技大学的多位 Rust 技术专家和研究者,共同探讨 Rust 语言在前沿技术中的创新应用。Databend 数据库研发工程师张祖前在活动中带来主题演讲《云原生数仓 Databend 的 Rust 开发实践》,重点探讨 Databend 的设计与开发过程,为何选择 Rust 进行开发,以及在使用 Rust 开发过程中的心得与经验。

Databend的博客 1314

Databend 开源周报第 104 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 967
上一篇: Databend 开源周报 #74
下一篇: Databend 借助对象存储帮你实现降本增效
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值