Databend 2024 年度总结:乘势而上,创新无止境

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

前言

2024 年对 Databend Labs 来说是非凡的一年,也是具有里程碑意义的一年。这一年,Databend 不仅迎来了成立三周年,更迈入了商业化元年。

Databend Labs 在过去一年里,以卓越的产品能力和社区贡献,推动了云数据仓库领域的变革,也让更多企业通过 Databend 实现了降本增效的目标。

让我们一起回顾 Databend 的 2024 年,并展望更加值得期待的 2025 年!

一、商业化进展:降本增效最佳选择

2024 年,越来越多的用户信任并选择 Databend,将其应用于生产环境中应对海量数据分析场景。

Databend 已在游戏、社交、金融、广告、电商等多个行业领域中成功替代 **Snowflake、Redshift、BigQuery、GreenPlum、ClickHouse、CDH** 等产品,为客户提供了降本增效的大数据解决方案。

服务行业

  • 游戏

  • 金融

  • 社交

  • 广告

  • 电商

  • 大数据交易所

覆盖主流应用场景

  • 秒级实时分析

      结合Stream、 Task 功能, 实现 秒级导入数据,秒级分析数据,将实时分析完数据提供给决策系统

  • **业务全链路**数据分析

      通过多源的业务数据进行收集 , 通过对象存储、 Kafka 等方式导入到 Databend 中, 进行分析 , 并 将结果在 BI 报表中展示

  • 数据湖场景

      解决企业现有数据湖或湖仓架构下, 数据管理混乱、 分析性能不佳、应用成本过高等问题,基于存储分离架构上构建的数据集市,从根本上解决用户数据搬家及实时同步问题。

  • 数据库数据归档分析

      将 MySQL、 PostgreSQL、 AWS Aurora 数据库中数据备份到 Databend Cloud 中, 并 且随时可以查询记录

  • 海量日志存储及计算

      将系统日志导入到 Databend Cloud 中, Databend Cloud 可以对日志数据进行压缩, 并可以对日志做分析

为众多行业客户实现降本增效

Databend 在 2024 年通过技术创新,为各行业客户提供了高效、灵活的解决方案,成功替代了多种传统数据库产品,帮助企业在数据管理和分析方面实现了降本增效。

游戏

**某游戏客户:**将生产业务从Snowflake迁移到Databend Cloud,整体成本降低 50%,支持实时数据分析。

社交

**TYPING:**在保证更快查询速度的同时,成本降至原来的 1/10。

电商

**多点:**数据存储量扩容 10 倍,成本降低 90%,查询性能提升显著。

互联网

某 AI **翻译公司:**从 Hadoop 切换到 Databend Cloud,简化运维,优化用户行为数据分析流程。

医药

**某医药集团:**存储成本减少至原来的 1/30,查询速度提升 2 倍。

物流

**万全速配:**存算分离架构提升灵活性与效率,查询性能提高 5 倍以上。

Web3

**Toco:**利用 Databend Cloud 的计算存储分离架构和对象存储支持,显著降低数据分析成本。

2024 年,Databend 获得了诸多行业认可:

  1. 思否发布 2024 中国新锐技术先锋企业,Databend 入选 2024 中国新锐技术先锋企业
  1. IT168 发布“2024 年度技术卓越奖”,Databend 荣获年度创新产品奖

二、开源社区:持续贡献,共创未来

作为开源社区的积极参与者和推动者,Databend 在 GitHub 上的开源项目获得了 8000+ Stars,吸引了 200+ 位贡献者参与,累计 PR 数量达到 11000+,解决了 500+ Issue,充分展示了在技术社区中的活跃度与领导力。

社区活动

在 2024 年,Databend 团队也积极举办和参与各项技术分享活动,共话技术创新:

Data Infra 线上分享 5 场

Databend Meetup 线下 1 场

并参与墨天轮数据库嘉年华、DTCC 2024、GTC全球流量大会、GOTC 2024 全球开源技术峰会等行业技术大会,以及TiDB 社区交流会、亚马逊云科技峰会、Kubesphere 云原生 Meetup、Rust China、Open Source @ Siemens 等社区活动。此外,Databend 第三次成功参与了 OSPP 开源之夏活动。

服务支持

  • Databend 全新官网上线:采用全新的设计语言与风格,帮助用户更好了解如何使用 Databend 支持业务。

  • Databend 部署相关英文文档进行了全面更新,支持海外市场。

三、技术与产品:迭代创新,全面满足企业级需求

2024 年,Databend 在技术创新和产品优化上取得了诸多突破,为客户提供了更加高效、灵活且成本优化的数据解决方案。

Databend 内核:技术革新推动成本优化,企业级稳定性得到验证

2024 年,Databend 经过大量用户场景的打磨与生产环境的全面验证,通过技术革新,实现显著的成本优化与企业级稳定性:

  • 高效 ETL Pipeline 数据摄入、清洗、导出全流程优化,一站式操作更高效便捷,轻松应对复杂数据处理需求。

  • 复杂分析性能优化 深度优化 JOIN 和分布式计算引擎,在有限硬件资源下,保证复杂分析任务的高效运行与稳定响应。

  • 资源精细化管理 动态分配内存与 CPU,按业务优先级灵活调控资源,确保关键业务稳定运行,优化资源利用率。

  • 查询加速优化 支持 JSON 索引、全文索引与预计算(物化视图)技术,让复杂数据类型的分析更加快速,为用户带来卓越的查询体验。

Databend Cloud :用户驱动,全面满足企业级需求

2024 年,Databend Cloud 在用户反馈与生产验证中不断优化,带来极致性价比与企业级功能支持:

  • 弹性 Multi-Cluster 架构 自动按需扩展,高峰智能扩展,低峰自动缩减,平衡性能与成本,满足高并发和算力密集型场景。

  • 团队协作与权限管理 新增工作区共享与权限控制,支持高效团队协作,确保数据安全共享,灵活可靠。

  • 灵活安全 更加细化的权限功能支持,数据可存储于用户自有对象存储,进一步增强数据安全性与可控性。

生态与集成:开放与互联

  1. 与 Prometheus 集成

      Databend Cloud 引入 Prometheus 监控支持,用户可实时监控查询性能、系统指标和资源使用情况,全面掌握数据库健康状态。

  2. 迁移到 Iceberg Rust

      Databend 从 icelake 迁移到 iceberg-rust,覆盖了产品所需的全部功能,并积极参与社区生态建设,进一步推动技术生态的互联互通。

  3. DBeaver 支持

      Databend 成为 DBeaver 24.3.1 的官方支持数据库,作为分析型数据库的新连接类型,为更多开发者提供便捷的数据库管理工具。

  1. Kafka Connect 插件

      Databend 增加了 Kafka Sink Connector 支持,用户可以快速将流数据导入 Databend,无需复杂的数据管道。

  2. Databend 与青云 U10000 携手打造数据管理新高度

通过这些不断的创新与升级,Databend 在 2024 年已经不再是一个传统的数据库产品,而是一个贯穿数据存储、分析和可视化全链路的解决方案。2025 年,Databend 将以更高的技术目标和创新热情,为用户创造更多价值。

四、展望 2025:携手同行,共创未来

2024 年的成绩是 Databend 向前迈进的重要一步。2025 年,Databend 将继续深耕云数据仓库领域,以技术创新为驱动,进一步拓展产品边界,强化开源社区的合作与共创,帮助更多企业应对数据挑战,实现数字化转型。

感谢每一位用户、合作伙伴和社区成员的支持,期待与您在未来一年中共同谱写更多篇章!让我们携手迈向更加智能、高效的数据未来!

Databend Labs 团队敬上

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

EWF写保护功能详解:从安装到实战操作指南

本文详细介绍了EWF写保护功能的安装与实战操作指南。EWF(Enhanced Write Filter)通过重定向写入操作保护硬盘分区,特别适合需要长期稳定运行的系统场景。文章涵盖从安装准备、图形界面操作到命令行高级管理的全流程,并提供了常见问题的解决方案,帮助用户轻松掌握这一实用工具。

weixin_28710999的博客 446

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

测试人必看!正交表与Allpairs工具对比:如何选择最适合你的组合测试方案?

本文深入对比了正交表、PICT与Allpairs三种主流组合测试方案,帮助测试人员根据项目场景做出最佳选择。文章分析了各自的核心原理、优劣势及适用场景,特别强调了在涉及复杂约束时PICT工具的强大功能,并提供了从原理学习到CI/CD集成的实战选型指南。

weixin_29224309的博客 267

Databend:下一代云数据仓库解决方案

Databend是一个用Rust语言开发的开源云数据仓库,旨在为大规模数据分析提供高性能、低成本的解决方案。作为Snowflake的替代品,Databend专注于快速查询执行和数据摄取,适用于复杂的大规模数据集分析。云原生架构: 与AWS S3、Azure Blob、Google Cloud等云存储服务无缝集成高性能: 基于Rust构建,采用先进的向量化执行技术成本效益: 设计用于可扩展的存储和计算,在提高性能的同时降低成本AI驱动分析: 通过AI函数支持高级分析数据简化。

2401_87458778的博客 1769

Ubuntu 22.04蓝牙开关秒关?别慌,可能是这个Intel固件文件在搞鬼

本文深入解析Ubuntu 22.04蓝牙开关秒关问题,指出Intel固件文件缺失是常见原因,并提供详细修复方案。通过确认硬件型号、检查固件文件及智能替代方案,帮助用户快速解决蓝牙故障,提升系统稳定性。

weixin_30247307的博客 755

详细介绍pytorch重要的API

Tensor 是 PyTorch 中最基本的数据结构,提供了多种创建和操作张量的函数。Autograd 提供了自动求导功能,可以跟踪 Tensor 上的操作并计算梯度。损失函数用于衡量模型预测值与真实值之间的差异,提供了多种损失函数。是构建神经网络的基础类,提供了定义网络层和前向传播的方法。提供了 GPU 计算的支持,包括设备管理、内存管理等。提供了一些常用的函数式操作,如激活函数、损失函数等。提供了常用的数据集、模型架构和图像转换工具。提供了数据加载和预处理的工具,包括。

hello! 1223

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

关于RT-Thread中PWM无法正常输出的学习

按照官方的PWM配置,并没有输出PWM,网上有比较多的办法,试了很多,有些还是不能实现输出,这里做个记录。记录自己完成PWM输出的过程,以及修改的地方。 关于STM32CubeMX配置就不多说了,网上有很多。 首先必定是按照流程来,一定一定按照流程来!!! 需要注意的是加上通道数!!!! 这是流程上没有的,也是RTT的一点小BUG吧 配上board.c中添加的代码,我用的是PA2定时2的通道3,需要使用的朋友修改对应定时器和GPIO! void HAL_TIM_Base_MspInit(TIM_Han

weixin_42566346的博客 3552

SaaS 出海:Databend Cloud 的定位与实践

提到 “SaaS 出海”这个词大家肯定并不陌生,SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长, SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说,全球化市场的巨大潜力尤为吸引人。在许多地区,尤其是发展中市场, SaaS 服务的普及率还远远没有饱和,这也为企业提供了非常广阔的成长空间。随着全球数字化转型的不断加速, SaaS 服务需求也在持续增长。

Databend的博客 1208

WPS Office 2026免费安装指南:AI办公与安全使用全解析

办公软件作为数字化办公的核心工具,其基本原理是通过文档处理、数据计算和演示展示等功能模块满足用户日常办公需求。随着人工智能技术的发展,现代办公软件逐步集成AI能力,通过自然语言处理和数据分析算法提升工作效率。在技术价值层面,优秀的办公软件不仅需要保持格式兼容性和跨平台同步能力,更要注重用户数据安全防护。从应用场景来看,无论是个人文档编辑、企业报表分析还是团队协作演示,办公软件都发挥着关键作用。WPS Office 2026作为国产办公软件代表,深度融合AI助手功能,支持智能写作和数据分析,同时通过官方免费策

weixin_30599769的博客 708

Rstudio-server无法登陆?几种解决方法 卡死 崩溃了 卡住

Q6:Rstudio-server无法登陆?几种解决方法1 检查登陆方式是否正确 (IP/域名 端口是否弄错了)2 查看自己用户名和密码是否输入错误(大部分无法登陆的原因都是第1点和第2点)3清空浏览器cookie缓存,或者换个浏览器登陆,推荐谷歌浏览器4 如果是出现下面截图界面,试试点击Terminate R 或 Safe Mode(如果试了还不行,继续尝试后面方法5~8)5 ssh登录,然后查看自己的磁盘存储空间是否用尽(方法见Q9),如果是,先清理自己的磁盘空间。

生信小博士的博客 1万+

Databend 特性系列(1)|Databend 数据生命周期

在上面的文章中我们演示了 snapshot 在 Databend 对于数据生命周期的访问控制。这里有一个核心就是云对象存储不能炸了。每天备份一下对应的表结构。每天备份一下对应表的 fuse_snapshot 对应输出。如果是自建的存储可以增加副本数来增加安全性。

Databend的博客 619

文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)

本文将手把手教会你使用jieba库进行中文分词和去除停用词,这是学会文本分析的必经之路!

m0_64336780的博客 4万+

使用 Databend 全新体验!一文看懂 Databend 可视化管控平台 BendDeploy

Databend 提供了一套基于 Kubernetes 的标准化私有部署管控平台——BendDeploy,帮助用户快速、安全地实现 Databend 多集群、多租户的部署和管理。BendDeploy 提供了简单易用的可视化运维体验,极大地提升运维效率,减少错误和中断。通过 BendDeploy,用户可以实现多租户管理、集群部署、集群扩缩、集群升级、节点管理等操作。此外,BendDeploy 还提供了日志收集、查询和分析能力,将日志收拢到一个平台中,简化了操作。

Databend的博客 1091

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Databend v1.2 版本发布!Data + AI

各位社区小伙伴们,Databend 于 2023 年 6 月 29 日迎来了 v1.2.0 版本的正式发布!相较于 v1.1.0 版本,开发者们一共新增了次 commit,涉及个文件变更,约行代码修改。在 v1.2.0 版本中,Databend 新增了等特性,大幅提升的性能。

Databend的博客 382

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Tapdata 和 Databend 数仓数据同步实战

Databend: 是新一代基于对象存储的弹性云数仓产品。地址:OpenDAL :是 Databend 中负责和底层存储打交道的一个组件,目前被 Rust 多数据库产品及 Rust sccache 中大量使用,估计不远的将来会成为一个多云对象存储支持最好的产品。地址:Openraft: 是 Databend 中负责 Databend Meta 中的集群组件,目前被 SAP 及 许多交易所使用。

Databend的博客 803

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例

Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。

zrc_xiaoguo的博客 2409

释放无限潜力:Databend 存算分离架构如何让企业数据管理焕然一新?

存算分离架构的出现为云原生数据库带来了新的可能性。通过计算与存储资源的解耦,Databend 实现了高扩展性、弹性使用和更高的资源利用率,解决了传统存算一体架构中存在的扩展性和成本问题。作为一款云原生数据仓库,Databend 的设计思路从一开始就围绕存算分离架构展开,最终为用户提供了一种高效灵活的数据处理解决方案。Databend 存算分离架构的设计与实现不仅是当前技术发展的体现,更为未来数据库系统的发展指明了方向。

Databend的博客 1300

Databend 数据写入实测:从 3千行/秒 到 230万行/秒,4种方式该怎么选

本文对比了Databend支持的四种数据写入方式性能差异及适用场景:INSERT(云上直接写入对象存储)、INSERT_NO_PRESIGN(私有化转发写入)、STREAMING_LOAD(实时流式写入)和STAGE_LOAD(批量加载)。测试显示STREAMING_LOAD在200k批次可达127k行/秒,STAGE_LOAD最高达800k行/秒。建议私有化场景优先考虑简单实现,云上则应结合成本选择INSERT或STAGE_LOAD以节省流量费用,避免使用可能产生高成本的INSERT_NO_PRESIGN

Databend的博客 878

【Databend】数据类型

介绍 Databend 数据类型,并且记录工作使用中可能遇到的问题。

小发菜 1109

Databend Operator: 打造开源的数据仓库部署利器

Databend Operator 是我们最新在 Github 上开源的项目,旨在通过 Kubernetes 原生方式管理 Databend 的核心组件,尤其是面向私有化和混合云部署场景。Tenant和Warehouse。Tenant 定义对象存储端点、Meta 信息和用户配置;Warehouse 通过 tenantRef 引用 Tenant,并声明计算镜像、实例数、Disk Cache 配置与日志策略。

Databend的博客 721

Databend 存储架构总览

通过本篇文章带大家理解一下 Databend 的存储结构。Databend 内置的 Table 引擎为 Fuse table engine ,也是接下来要花重点篇幅要讲的。

Databend的博客 900

告别 Kafka,拥抱 Databend:构建高效低成本的用户行为分析体系

用户行为数据埋点指标是数据仓库中不可或缺的重要数据源之一,同时也是企业最宝贵的资产之一。通常情况下,用户行为数据分析包含两大数据源:用户行为分析日志和上游关系型数据库(如 MySQL)。基于这些数据,企业可以进行用户增长分析、用户行为研究,甚至通过用户行为分析精准排查用户问题。

Databend的博客 1618

【Databend】多表联结,你不会还没有掌握吧!

本文主要介绍 Databend 数据库中的多表联结,将多个表合并为一个数据集,跟着本文操作,相信你就掌握了。

小发菜 1512

利用 Databend + COS助力 CDH 分析 | 某医药集团

Databend 是一款开源、易用的云数仓,面向对象存储设计,支持使用 COS 对象存储作为存储后端,并且能够提供对复杂查询的支持,完美匹配大参林的业务需求。

云存储小天使的博客 948
上一篇: 信创、湖仓一体化、AI+DB,2024年数据库&湖仓发展总结与展望
下一篇: Databend x 沉浸式翻译 | 基于 Databend Cloud 构建高效低成本的业务数据分析体系
Databend
博客等级 码龄5年 1458粉丝 362原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值