基于 Databend 实现的海量日志实时查询服务 | 多点DMALL

frontend-design skills 立即下载

作者:苏琳

多点DMALL 供应链补货团队负责人

多点DMALL 成立于 2015 年。从创立伊始,就致力于以大数据、云计算、AI 等数字技术改变零售业,是一站式全渠道数字零售解决方案服务商,数字化解构重构零售产业,提供端到端的商业 SaaS 解决方案。

多点DMALL 通过 DMALL OS 提供零售云一站式解决方案,帮助零售商和品牌商数字化转型,实现线上线下一体化;同时通过多点 App 等工具赋能全渠道经营能力,并提供各类增值服务。

需求概述

商家要求支持 4 个月的日志查询,目前线上只支持 1 个月。每天日志是 400 万行项,1 个月的日志量是 1.2 亿, 考虑到后续业务的增长,预计每月日志数据量会增长到 2.5亿;4 个月的日志量是 10 亿行项左右。

现采用的 MongoDB 集群因资源受限无法支持 10 亿行项存储及查询,急需寻找另外的解决方案。

Databend 的介绍及优势

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。Databend 把数据存储在 AWS S3 ,Azure Blob 等这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。Databend 在设计上专注以下能力:

  • 高性能且部署使用成本低: 在提供更高的性能的同时,部署成本不到传统数据库(MySQL、MongoDB)的 1/10;

  • 支持标准 sql 语法: 能兼容 Mybatits 等常用 ORM 框架,对于研发来说没有任何学习成本。

  • 支持自动索引: 系统会自动对所有字段建立索引;无需研发进行优化。

技术选型

由于 Databend 可以处理海量数据的查询,并且提供了实时查询和处理能力。恰好满足了多点现在所求。基于以上,我们选择 Databend 实现海量日志实时查询的原因包括有以下四点:

1️⃣ 基于对象存储,成本低

SSD 块设备的 1/10;按实际用量付费

2️⃣ 在线查询

无须从冷备中恢复;可接受的查询性能

3️⃣ 支持大单表

TB 级别;分批持续归档

4️⃣ 兼容 TiDB

MySQL 协议;数据类型兼容

使用 Databend 方案

目前使用 Databend 主要是用在计算日志查询场景。

计算任务会将计算日志保存到 MongoDB;然后会通过定时任务,将日志从 MongoDB 同步到 Databend 供页面查询。

图片

基于 Databend 的性能测试

👨🏻‍💻 测试环境

Databend 是计算、存储分离架构

计算节点: 1 * 4C16G100G (费用 70美元/月)

**存储:**使用对象存储,按需付费

👨🏻‍💻 测试表结构和数据样例

1️⃣ 表结构

CREATE TABLE `logs` (
  `tenant` VARCHAR COMMENT,
  `batch_seq` INT COMMENT,
  `order_situations` VARIANT COMMENT,
  `day` VARCHAR COMMENT,
  `shop_code` VARCHAR COMMENT,
  `goods_code` VARCHAR COMMENT,
  `supplier_code` VARCHAR COMMENT,
  `out_supplier_code` VARCHAR COMMENT,
  `out_supplier_type` VARCHAR COMMENT,
  `today_order` INT COMMENT,
  `category` VARCHAR COMMENT,
  `sec_category` VARCHAR COMMENT,
  `thi_category` VARCHAR COMMENT,
  `log_detail` JSON COMMENT
) ENGINE=FUSE

2️⃣ 查询性能

imagepng

👨🏻‍💻 测试总结

在10亿数据量级下,常用查询均可做到秒级响应。

海量日志实时查询服务通用化解决方案

图片

Databend 适用方案

  • 大规模数据查询: Databend 可以处理海量数据的查询。如果你需要对大规模数据进行复杂的查询和分析,Databend 可以作为一个高效的数据湖仓使用。

  • 数据仓库和数据湖: Databend 可以作为数据仓库或数据湖的核心组件,用于存储和管理结构化和半结构化数据。它支持标准的 SQL 查询语言,使得数据分析师和工程师可以方便地进行数据探索和分析。

  • 实时数据处理: Databend 提供了实时查询和处理能力,适用于对实时数据流进行查询和分析的场景。你可以将实时数据流导入到 Databend 中,并通过 SQL 查询语言实时分析数据。

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?.docx 政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题? 立即下载

相关推荐

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

IT运维分析与海量日志搜索

陈军 日志易创始人兼CEO 拥有17年IT及互联网研发管理经验,曾就职于Cisco、Google、腾讯和高德软件,历任高级软件工程师、专家工程师、技术总监、技术副总裁等岗位。 负责过Cisco路由器研发、Google数据中心系统及搜索系统研发、腾讯数据中心系统和集群任务调度系统研发、高德软件云平台系统研发及管理,对数据中心自动化运维和监...

weixin_34355881的博客 730

从零到一:基于Esp32与LVGL的ST7789屏幕驱动全流程实战

本文详细介绍了基于Esp32与LVGL的ST7789屏幕驱动全流程实战,包括环境准备、驱动文件改造、硬件接口配置、LVGL集成与优化等关键步骤。通过VSCode+ESP-IDF开发环境,读者可以快速掌握SPI模式下的屏幕驱动开发,解决常见问题如颜色错乱、画面撕裂等,并实现LVGL的高效集成与性能优化。

weixin_33725722的博客 713

百度海量日志处理——任务调度实践与优化

作者简介运小军    百度高级研发工程师负责百度运维部大规模日志处理、海量事件数据存储相关设计研发工作,在分布式系统架构、大数据存储计算、高性能网络服务和即时通讯服务有广泛实践经验。干货概览本文主要介绍百度运维部监控架构团队在处理大规模日志计算任务时,为保证任务分配均匀性和稳定性,对原始一致性哈希算法进行改进。新算法在保持原始一致性哈希算法稳定性的同时,通过设置不均衡因子来控制分配的不均匀范围,达

AIOps智能运维 1472

Flutter 中使用蓝牙插件报错,说没有权限怎么解决

2、在build.grale里面更改一下版本号,我修改的是targetSdkVersion这个版本号,需要根据你自己的版本进行更改,记得更改之后先flutter clean一下再run。搞了一晚上,没搞出来,第二天用同事手机测试发现他手机可以,我手机还是不行,才发现是Android版本问题,需要修改两处地方。废话不多说,咱先看报错信息。

zzj17637822814的博客 2290

Java8对接三方流式接口,并实时输出(GPT)

【代码】Java8对接三方流式接口,并实时输出(GPT)

m0_58617940的博客 1729

海量文本日志内容查找

设计文本日志内容查找程序(假设文本日志文件有几个G的大小)。 要求: 1.能有途径输入需要匹配的字符(手写文本文件程序去读、程序启动参数代入、控制台输入等 都可以)。 2.输出带有匹配信息的整行数据到文本文件。 3.效率必须够快。 首先,先讲一讲我的整个思路过程,看到好几G的字眼,我的惯性思维会想到用Hadoop,毕竟大数据的技术的出现就是为了解决海量数据。在这里我使用的是hadoop的MapRe...

yechengchao的博客 1167

2021哈工大网安837考研初试经验贴

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

weixin_41797880的博客 6524

实时日志分析系统的架构、实现以及思考

1 序 对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标(如单位时间某些操作的处理时间),发现系统中出现的缺陷和性能瓶颈。 由于需要对日志进行实时分析,所以Storm是我们想到的首个框架。Storm是一个分布式实时计算系统,它可以很好的处理流式数据。利用storm我们几乎可以直接实现一个日志分析系统,但是将日志分析系统进行模块

moonpure的专栏 1万+

APO的全面进化之路(2):走向IBP、建设端到端供应链计划体系

前一篇记录阐述了在供应链计划(Supply Chain Planning)领域里SAP的关键产品APO的不断进化之路,即部分产品从APO进化到S/4HANA,本篇将继续阐述进化之路上的另一大中坚产品力量SAP-IBP(Integrated Business Planning)。作为SAP数字化供应链(Digital Supply Chain)中供应链计划SCP的左膀右臂,S/4HANA与IBP共同完善了计划域的完整闭环。本篇作为收尾,在先谈对IBP产品的个人认知之前,特别是在当今这个IT产品迭代多、技术革新

ChampaignWolf的专栏 5235

基于Simulink的基于MPC的实时ZMP约束步态优化仿真

本文完成了基于Simulink的MPC实时ZMP约束步态优化仿真,实现了:✅ 建立3D-LIPM预测模型✅ 设计带ZMP可行域约束的MPC优化器✅ 实现闭环实时求解与扰动抑制✅ 验证强鲁棒性与安全性✅ 为人形机器人野外行走、人机交互提供先进控制方案。

xiaoheshang_123的博客 87

数据分析师常见的10道面试题解答

数据分析师常见的10道面试题解答 文章出处:http://www.52analysis.com 1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用ha...

weixin_34217711的博客 278

ROCm rocr-libhsakmt分析系列1-2:多GPU跨卡VRAM访问机制分析

本文基于ROCr-Runtime的libhsakmt库源码,深入分析了多GPU系统中跨设备内存访问的实现机制。主要内容包括: 实现流程概述:通过P2P拓扑发现、统一虚拟地址空间、页表映射和硬件转发四个步骤,实现零拷贝的跨GPU内存访问。

图形/计算GPU的驱动与虚拟化技术分享园地 2514

数据所在,计算随行:Databend 的 2023 年度总结

2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年,真正实现了「数据所在,计算随行」的理念,即将计算力带至数据之处,致力于为用户交付更澎湃的算力。Databend 自 2021 年开始研发,「三年之期已到」,,Databend 会交出怎样的一份答卷呢?让我们一起看看吧。

Databend的博客 966

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Databend Cloud 正式上线腾讯云市场,加速挖掘数据创新价值

近日,新一代大数据分析平台 Databend Cloud 正式上线腾讯云千帆云市场,成为腾讯云 SaaS 生态圈中的重要一员。依托腾讯云平台的技术支持和市场资源, Databend Cloud 将充分发挥数据价值的挖掘能力,助力更多企业实现数据驱动的决策运营。Databend Cloud 是一款基于开源云原生数仓项目 Databend 打造的易用、低成本、高性能的新一代大数据分析平台,提供一站式 SaaS 服务,具有免运维、开箱即用等特点。

Databend的博客 1349

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Databend 2024 年度总结:乘势而上,创新无止境

2024 年对 Databend Labs 来说是非凡的一年,也是具有里程碑意义的一年。这一年,Databend 不仅迎来了成立三周年,更迈入了商业化元年。Databend Labs 在过去一年里,以卓越的产品能力和社区贡献,推动了云数据仓库领域的变革,也让更多企业通过 Databend 实现了降本增效的目标。让我们一起回顾 Databend 的 2024 年,并展望更加值得期待的 2025 年!

Databend的博客 966

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Databend 亮相 RustChinaConf 2025,分享基于 Rust 构建商业化数仓平台的探索

十年前,当 Graydon Hoare 在 Mozilla 的支持下发布 Rust 1.0 时,很少有人能预见到这门语言会在今天成为系统编程的新标杆。十年后的今天,当我们站在 2025 年的节点回望,Rust 不仅兑现了当初"安全、并发、实用"的承诺,更在商业化道路上走出了一条独特的轨迹。在刚刚结束的 RustChinaConf 2025 杭州大会上,Databend 技术 VP 陈小玉的主题演讲《基于 Rust 构建商业化数仓平台的探索》引起了与会者广泛关注。

Databend的博客 895

海量日志数据资料收集

1、需求资料收集,架构对比 1、数据收集工具 flume 2、kafka消息 3、ELS 数据存贮检索 4、hadoop   flume + hadoop + els 收集 持久化存贮 查询展示   参考文章: Elasticsearch数据库,做全文检索 (支持百亿级别 PB级别数据量) https://blog.youkuaiyun.com/aisemi/article/detail...

zhanyong168的专栏 619

日志

日志是什么: 日志主要的作用是记录程序运行的过程,通过日志方便观察程序的运行状况和运行过程,便于分析程序的执行过程,JDK自带一个日志,但是效果不太好,速度较慢,要写的代码较多 常见的日志工具 jdk-logging log4j :其中commons-logging是规范,log4j是commons-logging的实现 要实现log4j首先需要导入两个依赖:log4j和commons-logging <dependency> <groupId>log4j</g

cloudmagpi的博客 1210

开源日志系统比较:scribe、chukwa、kafka、flume

1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。 本文从...

ronon77的专栏 608

海量日志存储和查询方法及系统

摘要 本发明提供一种海量日志存储和查询方法及系统,其中的方法包括将分片后的日志按照主从关系存储为文件结构,其中,分片后的日志按照主从关系存储在主文件和从文件内,主文件包括日志的聚合数量、分片开始时间和分片结束时间,且主文件采用XML数据结构,包括event元素、count元素、Level元素和Keyword元素,从文件包括日志的发生时间和发生日志的设备的IP;在主文件和从文件内对日志进行查询

baidu_24932821的博客 1万+

设置ODBC的自定义类CSetODBC

何志丹一,功能描述用于配置数据源用户名及密码.1,可以得到连接串,此串可用于CMyRecordset(派生于CRecordset)的GetDefaultConnect(),也可以用干CDataBase类OpenEx.2,如果用户配置正确,只需要配置一次,相关信息记录在文件.3,可以指定存储信息的文件名.因为有可能几个程序共用一个数据源.4,用户可以重新配置数据5,可以得到当前数据的类型.6

闻缺陷则喜何志丹 3168
上一篇: Databend 开源周报第 103 期
下一篇: 特性快闪:使用 Databend 玩转 Iceberg
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值