Databend 借助对象存储帮你实现降本增效

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

本篇文章围绕着:

  • 什么是对象存储
  • 当 Databend 遇到对象存储
  • 2022 年 Databend 利用对象存储降本的案例
  • 国内优秀的对象存储产品
  • 基于对象存储创业的产品

什么是对象存储

对象存储是一种可以非结构化存储和管理数据的技术。 可以简单理解为 NoSQL 接口方式存储和访问数据,对象存储最有名的产品是: AWS S3。 这样使对象存储原生具备了: 持久性,可扩展性,数据可用性,对于对象存储比较核心的也是元数据管理。现在对象存储主要使用场景:

  • 数据归档
  • 备份和恢复
  • 数据湖
  • ML
  • 富媒体

但对象存储也有一些限制,这个限制各个厂家没有统一,使用上需要注意各厂家的指标。

  1. QPS 限制: 有的厂家限制到 Bucket,有的是限制到用户, 甚至有单文件下载热点控制。
  2. 带宽,现在一般都能达到 10Gbit/s 以上
  3. bucket 限制: 每个帐号支持创建 Bucket 的数量有限,每个 Bucket中对象不限制,bucket 和 地区有绑定关系,创建后不可更改,bucket名称全局唯一。单个 bukcet 的存储空间容量不限制。
  4. 对象限制: 简单上传文件大小不能超过 5GB, 分片上传文件最大不能超过 ~48.8T
  5. 支持多副本,支持加密

友情提示: 国内的云上对象存储分为国内和非国内的区域,一般是非国内区域性能比较弱,但如果需要较强的能力一般可以联系技术支持进行动态调配资源。

当 Databend 遇到对象存储

Databend 从研发 DayOne 就定义为基于对象存储研发一个Severless 架构的云原生数仓。

但在这个过程中,我们也怀疑过:

  1. 对象存储是不是可以真正跑大数据计算,我们为了打消顾虑,把研发环境搬到 AWS 用最好的对象存储来验证,AWS 确时强大,对于同一个热点资源访问并发高时会出现一个短暂的 404 后,马上触发他的自动扩容, 数据分区的精细控制,原生多区可用,数据加密,一切的写入更新都是Append, 也让 Databend 也直接具备了: Data time travel Databend 针对对象存储的特性就尽高的对访问进行并发来提升性能。

  2. Parquet 格式是不是最好的存储方案。 Databend 研发之初,也考虑到生态的合作,最终选择大数据生态支持比较多的 Parquet 格式做为持久化对象。Databend 是基于 Rust 研发,但 Rust 的 Parquet LZ4 压缩和社区中 python 中实现不兼容,也被受到质疑,我们后来协助 Arrow2 作者进一步兼容社区,最终和社区保持一致。现在 Arrow2 Top 10 活跃贡献者中 Databend 团队成员占了 3 位。

  3. Parquet 是不是不如 Clickhouse 的 MergeTree, 这个问题我们质疑了更久,因为 Databend 在研发中很久一段时间我们的性能都不如 Clickhouse,直到 2022 年末我们在 Parquet 的格式下差不多和 Clickhouse 的性能追平了。

hits 数据集测试

# Databend
MySQL [(none)]> select count(1), max(URL) from hits;
+----------+-----------------------------------------+
| count(1) | max(url)                                |
+----------+-----------------------------------------+
| 99997497 | https://yugra-advert2792270][to]=&input |
+----------+-----------------------------------------+
1 row in set (0.505 sec)
# ck
select count(1), max(URL) from hits;

SELECT
    count(1),
    max(URL)
FROM hits2

Query id: b161ca55-8a9a-4605-8e0b-ff1ecc40bd22

┌──count()─┬─max(URL)────────────────────────────────┐
│ 99997497 │ https://yugra-advert2792270][to]=&input │
└──────────┴─────────────────────────────────────────┘

1 row in set. Elapsed: 0.796 sec. Processed 100.00 million rows, 9.94 GB (125.55 million rows/s., 12.48 GB/s.)

Databend 这一切的优化也是借助于开源社的力量,整合百家之长于一身, 终于可以在对象存储上提供一个又快又好用的云原生数仓。这也为我们 2022 接的用户奠定了基础并给未来带来了信心。

2022 年 Databend 利用对象存储上降本的案例

Dmall 使用 Databend 归档 TiDB 和 MySQL

2022 年 Databend 属于刚具备商用打磨,初期我们和 Dmall 交流可以利用 腾讯的COS 来替换他现在的将近 30 台的大容量 MySQL 机器提供归档查询能力。
视频回放: 基于Databend的TiDB数据归档实践

Dmall 的项目需求比较简单,原来主要是解决 MySQL, TiDB 中数据不断增多,但有一些数据已经不会更改,同时部分数据已经从高频访问到低频访问及汇总分析使用。

Dmall 帮着 Databend 在实际生产中打磨非常多的问题,Databend 团队基本本着问题不过夜的态度在支撑着 Dmall 团队,也让 Dmall 团队对 Databend 有较强的信心,一路携手起来。

原始数据在 MySQL 中 150T+ ,最后迁移到 Databend 后数据量在 30T 左右,现在 Dmall 在 腾讯 COS & 海外微软 Azure 中都有使用。

DigiFinex 使用 Databend 替换部分 Clickhouse 环境

经历了 Dmall 打磨后, Databend 又多了一些成熟度。 Databend 联系了 DigiFinex 进行技术交流后,他们用一台 ECS 跑 Databend + 阿里 OSS 替换原来 Clickhouse 主从架构。担任了起了某个业务大数据的 ODS 层,也许是经历了多点的打磨,DigiFinex 使用非常的顺利。全年重大事件:为了使用 Databend Bloom index 做了一次升级, 遇到两次内存缓慢溢出,Databend 团队和 DigiFinex 朋友一起通过 core 文件分析定位到问题快速修复。
DigiFinex 使用 Databend 带来的好处:

  1. 架构更加简单,无主从,无 zk, Databend query 是 Serverless 无状态,随时关停

  2. 数据存储使用 OSS 存储,一份数据随意访问并具备高可用

  3. 不用担心数据备份问题,具备 Time Travel 能力

  4. 在 Databend 中可以利用 join 做数据治理

DigiFinex 在 Databend 使用中数据存储已经突破 100T+

快手 & Databend 共建 Hive 生态

2022 的快手希望找到一个分布式计算引擎来替换现在 Hive 的计算效能低下的问题。在 Databend 上支持 Hive 的 Catalog 可以利用 Databend 把 Hive Catalog 挂上,直接对 Hive 上的数据进行计算分析,目前这个项目 2022 年 12 月已经上线,估计真正稳定和达到生产级可用预计需要到 2023 年 2 月底。

视频回放: 《快手大数据体系架构& Databend 潜在应用场景 》

在这个项目中数据写入还是利用 Hive 写入, Databend 直接访问。 以前做 OLTP 数据是亿级别行,现在看到是亿级别的分区…

每天 百T+ 以上的数据进入 Databend

2022 年碰到多个项目都是每天 100T+ 的数据要进入数仓,这种数据更多是写入频率大于读取,但要求低成本实现,数据保存至少要 180 天。
我们在第一个用户合作中计划不分库不分表,一个表搞定最终失败。 这块也是 Databend 2023 年重要规划,支持单表 PB 级别。

第二个用户我们双方讨论使用分表的方式,拆分成 100 张表,使用线上对象存储写入不要钱的特性,完美的实现用户的全球多 IDC 日志收集及入库,统一日志湖仓的分析环境。
目前该用户的实际环境,每秒钟大概 1GB+/s,近 10 万行日志通过 3 个 Databend-query 节点入库,日志大概实现了 100T可以压缩到 20T。

2022 年其他用户
  • DTCC 上看到微盟余成真分享在一个数据安全主题中分享,利用 Databend + 腾讯 COS 实现数据审计

Databend 在获知余成真的这边的使用后,也是全力支持余老板这边的需求。

  • 大量的需求来自给 MySQL 和 PosgreSQL 加速数据分析我们 2022 年 12 月和 Addax 合作实现可以实现比较方便从其它数据库非常方便的从其它数据库中抽取数据。

  • 某金融交易公司在云上基于 Databend 存储相关交易使用的数据,用于分析交易决策,该公司也是我们后续比较看好的,希望 Databend 帮他们打造一个 Data Market 生态。

  • 在用户的建议下,我们整合了 ClickViual 和 Grafana 进行日志展示, 整合日志组件 vector,简化日志场景。

Databend 本身是一个开源的云原生数仓,用户比较方便自建,也可以使用我们的 Databend Cloud 来一起提升云上资源的利用,从来降低成本。

2023 年如果你有数据方面的降本增效的 KPI 可以 Wx 联系: Databend 我们可以提供 Databend 支持及云上对象存储使用的最佳实践

国内优秀的对象存储

国内对象存储除了大家熟悉的: 阿里 OSS, 腾讯 COS, 华为 OBS 这些大牌子外,今年也看到不少其它同类的产品。

其中有多位用户使用 百度对象存储 BOS, 这个是我 2022 年才知道的,为什么使用这个,给的答案,这个太便宜了。 跑着还不错。

私有化项目看到更多是: Ceph, XSKY, 也有更利害的利用纯自研的对象存储。

基于对象存储创业产品

也许很多人都是知道 S3 才知道 AWS, S3 也是 AWS 当之无愧的王牌产品。现在 ALL IN 对象存储创业除了 Databend 之外还有:

  • JuiceFS JuiceFS 是基于云的高性能分布式文件系统,百亿级文件存储规模,适用于大数据、人工智能、自动驾驶、基因测序等海量数据存储需求。
  • Alluxio(/əˈlʌksio/)是大数据和机器学习生态系统中的数据访问层。
  • Databend Cloud 基于 Databend 定制完全面向云架构的新式数仓,它提供对象存储+分析能力的服务,可以快速弹性扩展,简单易用,低成本。

对象存储天生没有 VPC 概念,全球写入免费,海量数据产生也会给对象存储增长新的机会,这个赛道上,估计会有更多的机会如果你也是在对象存储这个赛道上,我们可以一起合作帮助用户降本增效。

如何快速下载Gaia DR3星表数据?中国虚拟天文台镜像站保姆级教程 本文提供了一份详细的保姆级教程,指导用户如何通过中国虚拟天文台镜像站高速、稳定地下载Gaia DR3星表数据。文章详细介绍了镜像站的访问地址、数据组织结构,并给出了使用wget、aria2c等工具进行批量下载的实战策略,帮助国内用户避开国际网络延迟,高效获取近20亿颗天体的海量数据。 阅读详情

相关推荐

hcaptcha-challenger:基于本地AI模型自动破解验证码的工程实践

验证码作为区分人类与机器的经典安全机制,其核心原理是通过图像识别、行为分析等交互式挑战来阻挡自动化程序。传统绕过方法依赖第三方打码平台或脚本,存在成本高、稳定性差的问题。随着多模态大语言模型和计算机视觉技术的发展,本地化AI求解成为新的技术方向,它通过集成YOLO、ResNet等模型,在本地完成图像语义理解,实现了高隐私、低成本、可进化的验证码自动化解决方案。这种范式尤其适用于需要大规模稳定处理网页交互的场景,如电商数据采集和社交媒体管理。hcaptcha-challenger项目正是这一理念的工程实践,它

weixin_42587866的博客 1028

Databend 特性系列(1)|Databend 数据生命周期

在上面的文章中我们演示了 snapshot 在 Databend 对于数据生命周期的访问控制。这里有一个核心就是云对象存储不能炸了。每天备份一下对应的表结构。每天备份一下对应表的 fuse_snapshot 对应输出。如果是自建的存储可以增加副本数来增加安全性。

Databend的博客 620

ESP32学习,驱动LED点阵屏,SD卡播放GIF动图

搬运就可以实现效果,如果有不足,请批评指正。下步该学一下如何文章上视频了,老是截图不方便展示效果。

u011625956的博客 1869

理解分布式存储的真实成本 - 10PB的硬件和软件

结果是,他们将价格定为设备,没有给他们自己的软件任何价值(这告诉你他们对即将淘汰的软件的看法)。当它们声称“但我们的软件为我们的硬件优化”时,不要相信——硬件销售人员会欣然将他们的软件同事扔下车,一旦你告诉他们你选择了另一家硬件供应商。CIO向我们解释了现任供应商向他展示的内容,说是这样的。他的现任供应商(他们拥有硬件和软件)说服采购团队,MinIO的成本是现任对象存储软件解决方案的四倍。这意味着你的硬件和软件综合成本将在第一年约为195万美元,接下来的四年为270万美元,总共为460万美元,为期五年。

MinIO 1919

NX二次开发编译时dll自动数字签名及拷贝

在UG5.0开始,所有基于UG二次开发的DLL都要“签名”后才能被客户端上正版的NX调用。

菜鸟爱飞不飞的博客 2686

从AMBA到USB:手把手教你评估和选择Synopsys DesignWare里的免费商用IP

本文详细介绍了如何评估和选择Synopsys DesignWare中的免费商用IP,从AMBA到USB等关键模块。通过技术参数核对、验证环境评估和集成注意事项,帮助工程师高效利用这些经过硅验证的商业级IP,提升SoC设计效率。文章还探讨了免费IP与付费IP的边界策略,避免常见陷阱。

weixin_42683394的博客 300

Databend 性能剖析方法与工具

Databend整合了一些性能剖析工具,可以方便进行深入分析。本文将会介绍如何进行CPU/MemoryProfiling。

Databend的博客 580

Tessent IJTAG ICL:从规范到实践的硬件描述语言指南

本文深入解析Tessent IJTAG ICL语言在硬件测试中的应用,从规范到实践提供全面指南。通过模块化设计、网络提取与编辑等实战技巧,帮助工程师高效构建标准化测试网络,显著提升芯片测试效率与覆盖率。特别分享TDR/SIB/TAP的ICL实现方法及调试策略,适用于SoC、车载芯片等复杂场景。

weixin_33606346的博客 307

【Databend】基础函数应用

本文主要介绍 Databend 中常用的函数,并配合实际操作演示相应的函数结果。

小发菜 1237

dToF直方图之美

上面视频里如果你能看懂,那么就能理解对于dToF单点的测距问题,对于大部分的描述在AMS和ST里的手册都非常的详细,有疑问的可以后台来找我探讨,今天我们单纯从上层讨论成像的问题。作为dToF算法工程师,应该是对直方图敏感的,直方图的每个Count峰都会表征出问题,因为dToF的输出只有直方图,观察直方图能够逆推出dToF的很多东西,这也是大多数公司不愿意开放直方图和Raw data的缘故。以上是一个小面阵的分辨率,第一张是直方图,后面是基于直方图寻峰出来的成像ToF图,Peak图,以及噪声Noise图。

dream it possible 2997

H3C IPsec over GRE VPN 实验

配置 IPsec over GRE VPN 来连通两端内网

M建的博客 2490

Tapdata 和 Databend 数仓数据同步实战

Databend: 是新一代基于对象存储的弹性云数仓产品。地址:OpenDAL :是 Databend 中负责和底层存储打交道的一个组件,目前被 Rust 多数据库产品及 Rust sccache 中大量使用,估计不远的将来会成为一个多云对象存储支持最好的产品。地址:Openraft: 是 Databend 中负责 Databend Meta 中的集群组件,目前被 SAP 及 许多交易所使用。

Databend的博客 804

5. SAP UI5 视图控制器(Controller)初探

本教程的前一个步骤也就是第四个步骤,我们了解了 SAP UI5 XML 视图的使用方法。在该步骤里,我们在 XML 视图里声明了一个 Text 控件实例,该控件位于 sap.m 这个命名空间内。 本步骤会继续接触 SAP UI5 MVC 框架中三大基石的另一块:C - Controller,即控制器。 先看看本步骤完成之后,我们得到的 SAP UI5 应用能实现一个什么样的效果。 访问如下 url: http://localhost:8080/webapp/index.html 能看到一个 Say Hell

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 4600

SaaS 出海:Databend Cloud 的定位与实践

提到 “SaaS 出海”这个词大家肯定并不陌生,SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长, SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说,全球化市场的巨大潜力尤为吸引人。在许多地区,尤其是发展中市场, SaaS 服务的普及率还远远没有饱和,这也为企业提供了非常广阔的成长空间。随着全球数字化转型的不断加速, SaaS 服务需求也在持续增长。

Databend的博客 1208

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

祝贺!Databend Cloud 和阿里云 PolarDB 达成认证

PolarDB 是阿里云自主研发的新一代云原生数据库,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。作为 PolarDB 开源数据库社区的生态伙伴,可以帮助双方共同的客户更好的实现数字化建设。Databend Cloud 是基于开源云原生数仓项目 Databend 打造的一款易用、低成本、高性能的新一代大数据分析平台,实现按需、按量付费的 Data Cloud, 让你专注于数据价值的挖掘,算你所想。

Databend的博客 1096

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Databend 实现高效实时查询:深入解读 Dictionary 功能

在大型系统中,数据通常存储在多个不同的数据源中,例如 PostgreSQL、MySQL 和 Redis 负责存储在线数据,而 Databend 和 ClickHouse 则用于存储分析数据。数据变动导致不一致性在多源数据系统中,数据可能会在不同的系统中以不同的频率和时间点进行更新。例如,在线数据源如 MySQL 和 Redis 可能会实时更新,而分析系统如 Databend 更新频率较低。这种时间差异可能导致数据不一致,分析结果可能与实际在线数据不符。多表 join 操作性能低下。

Databend的博客 1103

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例

Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。

zrc_xiaoguo的博客 2410

多点《基于 Databend 的 TiDB 数据归档实践》 | Data Infra 分享第 4 期总结

在归档场景下 Databend 优势:降本显著:基于对象存储,冷数据存储成本除低 98%,如果你是 SSD 到对象存储,基可以达到 99% 以上的降本。云中立:支持 AWS, Azure,GCP,阿里云,腾讯云,华为云,青云,火山引擎,minio,ceph 等研发友好:MySQL 协议兼容,可在线查询,统计分析性能好运维无忧:无限空间,高可靠性,免维护,迁移便捷。

Databend的博客 790

基于 Databend 和腾讯云 COS 打造新型云数仓

本篇文章向大家演示如何使用 Databend 基于腾讯云 COS 构建新式数仓及其计算能力。如果你也在找一个低成本、高性能、支持弹性的数仓,Databend 可以为大家提供一个基于对象存储的云原生数仓解决方案。目前 Databend 支持数据的 stream load , copy into from stage , insert 等方式的数据写入,部署上支持单机和集群模式。需要更多支持添加微信: 82565387 。 文章较长,建议收藏 PC 端阅读。 Databend 介绍Datab

Databend的博客 2731

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

flink-1 flink简介

flink简介有界数据和无界数据flink应用场景flink优势flink基本技术栈flink基本架构 有界数据和无界数据 有界数据通常被称为批处理 既定义了数据流的开始,也定义了数据流的结束。 处理有界数据时,既可以等所有数据都接收完再处理,也可以处理此刻前的所有数据。 有界流数据可以被排序,所以处理的时候不需要有序的提取 无界数据 有数据流的开始,但是没有数据流的结束。 处理无界数据时,不能等到所有数据都接收完再处理,数据会无休止的产生,需要立即处理 无界数据处理时一般需要根据特定的顺序提取数据

a3125504x的博客 306

Databend 源码性能调优实践-实践篇 1

在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示: 1、基础篇:代码调优的前置知识(https://mp.weixin.qq.com/s/WTCL6w9ur6DyIBUWt1TvQA ) 2、实践篇1:Databend 源码性能调优实践 3、实践篇2:Databend 的 Group By 聚合查询为什么跑的这么快? Databend 是基于 Rust 语言开发面向云原生设计的数据仓库。Rust 是近几年比较火的系统编程语言,它具有零额外开销的抽象成本,并且有

Databend的博客 446

SQLacner for Databend 使用说明

SQLacner for Databend 数据库逻辑测试

hys__handsome的博客 1545

Databend 内置标量函数开发指南

原文:https://databend.rs/development/how-to-write-scalar-functions/ 什么是标量函数?¶ 标量函数(有时被称为用户自定义函数/UDF)为每条记录返回一个单一的值,而不是作为一个结果集,并且可以在查询或SET语句中的大多数地方使用,除了FROM子句。 One to One Mapping execution ┌─────┐ ┌──────┐ │ a │ │ ...

Databend的博客 414
上一篇: 构建并运行 Databend
下一篇: Databend 开源周报 第 75 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值