SHAREit X Databend | 跨多云 Data Mesh 大数据平台: Why, What and How

跨云平台大数据系统迁移实践 背景介绍 最近又能挤一挤时间,来聊一聊前一段时间接手的一个大数据系统项目。 随着云计算的普及,大部分互联网公司的系统都是基于云原生的产品和体系来搭建的,我接手的系统也不例外。数据处理部分从底层存储,到中间层数据处理系统,再到上层的ETL系统第一版都是基于Google Cloud Platform来搭建的,GKE + PubSub + DataFlow + FireStore,数据服务部分,负载均衡... 阅读详情

2022 年 10 月 22日,在 Data Infa 研究社第 5 期中,我们邀请到张韶全老师分享了《跨多云 Data Mesh 大数据平台:Why, What and How 》受到大家的一致好评。

以下是此次精彩的分享总结,让我们一起回顾一下吧

分享嘉宾

张韶全 茄子快传( SHAREit) 大数据部门总监

SHAREit 是从事移动互联网软件研发,全球移动广告变现解决方案,跨境支付解决方案等互联网业务

分享内容

  • 大数据平台的问题和挑战

  • 何为跨多云 Data Mesh 大数据平台?

  • 如何实现跨多云 Data Mesh 大数据平台?

  • 大数据平台的未来规划

大数据平台的问题和挑战

大数据平台经历了从一个数据库的经营报表到数仓交互报表,到现在的数据 EB 级别的数据湖。当前大数据平台的挑战:

  • 数据发挥的价值发挥低效
  • 响应慢周期长:中心化的数仓团队成为瓶颈
  • 数据合作阻力大:不同源数据,不同业务的数据孤立
  • 数据系统门槛高:平台不够简单易用,底层不够透明化
  • 数据管理成本高昂
  • 资源使用低效:云系统的复杂性导致使用效率低
  • 治理无从下手:缺少完善的治理手段

何为跨云的 Data Mesh 大数据平台?

原来的大数据部门集中到一个部门,由不同的部门提需求,这种属于典型的中心化数仓架构。基于 Data Mesh 架构提出来:领域业务驱动,自主服务,数据即是产品的一部分, 和更多的管理者结盟统一目标。

支持 Data Mesh需要的前提条件:

  1. 自助式平台;

  2. 数据产品化;

  3. 联邦治理;

SHAREit 提出了新一代的大数据平台解决方案:DataCake。DataCake 继承发扬了 Data Mesh 思想,具备以下特点:

  1. 一站式:一个集成的工作空间支撑全数据链路数据收集

  2. 自助化:低门槛,无需专业人士,即可掌控数据&分析

  3. 跨多云: 云原生,Non verdor lock-in

  4. 湖仓一体:湖上内置仓,一份存储支持多场景

  5. 可观测:数据资产,成本可观测,自主治理

  6. 促分享:一键数据分享合作统一的 Catalog 视图

  7. 低成本:Serverless,高效的弹性扩缩容

  8. 开放:核心组件开源,支持多种开源和云商引擎构建

现在平台架构:

在 SHAREit 的大数据平台中也加了 Databend 为平台提供计算及多云整合能力。

如何实现跨多云的 Data Mesh 大数据平台?

提供集成环境一站式部署使用, 开箱即用。

大数据平台的未来规划

最后张韶全老师分享,SHAREit 也计划把他们的 DataCake 产品上线 Cloud 对外提供服务,大家也可以保持关注。

视频回顾:SHAREit X Databed | 跨多云 Data Mesh 大数据平台: Why, What and How | Data Infra 第 5 期-1_哔哩哔哩_bilibili

关于 Data Infra 研究社

Data Infra 研究社是 Databend 下面一个围绕大数据相关技术交流的兴趣小组,例如:大数据平台, Data mesh, Modern data stack, Data Dev 等方向。

活动频次:一月1-2次活动

活动发布:Databend 公众号

活动直播渠道

B站: http://live.bilibili.com/22123086

视频号: 关注 Databend 公众号

VIP 通道和嘉宾同一会议室:加微信 Databend 获取

活动视频发布:https://space.bilibili.com/275673537

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend


​​​​​​​

DataCake:数据机制和hyperScraper 立即下载

相关推荐

Data Mesh大数据平台架构设计与实践.pdf

Data Mesh大数据平台架构设计与实践.pdf

Datacake 开源项目教程

Datacake 开源项目教程 项目介绍 Datacake 是一个基于云的物联网平台,旨在为各种设备提供数据管理和分析服务。该项目支持多种通信协议,如 MQTT 和 LoRaWAN,并提供了一个强大的规则引擎来处理和转换传感器数据。Datacake 的核心功能包括设备管理、数据存储、实时分析和可视化。 项目快速启动 以下是一个简单的快速启动指南,帮助你快速部署和运行 Datacake 项目。 环境...

gitblog_00374的博客 462

印尼稻米收成与粮食安全数据集2026年

本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。

茄子科技张韶全:跨多云大数据平台DataCake在OceanBase的实践

可以充分利用不同云的特点。我们是第一批出海的互联网公司,公司的业务场景从最开始工具类 APP 扩展到内容、游戏、支付等多个场景,月活跃用户数量达到数亿级别,正是因为这种级别的用户体量,同时还有复杂的使用场景,我们很早便开启了大数据平台 DateCake 的自研,通过挖掘数据价值支撑业务高速发展。此外,为了让平台管理人员很好地运维多云系统、多云集群,我们也自研了一套多云集群的管理和监控系统,专门用来对多云的集群进行创建、管理、监控,同时对集群上的任务进行管理、对多云的任务做实时不同维度的分析。

OceanBase分布式数据库的博客 1464

四分之一汽车模型主动悬架设计:在MATLAB_Simulink中实现比例积分控制、前馈扰动抑制和扰动估计,以优化乘坐舒适性和道路附着力。.rar

四分之一汽车模型主动悬架设计:在MATLAB_Simulink中实现比例积分控制、前馈扰动抑制和扰动估计,以优化乘坐舒适性和道路附着力。.rar

Delphi 13.2控件之msquic4d.rar

Delphi 13.2控件之msquic4d.rar

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例

Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。

zrc_xiaoguo的博客 2410

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

现代数据架构选型:Data Fabric、Data Mesh

数据架构总是在更新迭代的路上,以使其快速适应变化的数据环境,更为敏捷和规模化地给业务部门交付数据。在传统的数据架构中,存在数据复杂度高、缺乏敏捷性、不便于协作、数据和一致性可解释性低下等问题。这些挑战阻碍了企业迈向数据驱动型企业的道路,也难以实现快速响应业务需求。在寻求最佳数据架构的过程中,Data Fabric 和 Data Mesh 常常被关注到,这两者乍一看很相似,...

http://www.54tianzhisheng.cn/ 747

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

气象服务行业可信数据空间应用规划方案(技术方案版).pptx

气象服务行业可信数据空间应用规划方案(技术方案版).pptx

数据网格(Data Mesh)是什么?

就像软件设计团队从整体应用程序过渡到微服务架构一样,数据网格(Data Mesh)在很多方面来讲都是微服务的数据平台版本。正如 ThoughtWorks 的顾问和原架构师 _Zhamak Dehghani_ 首次定义的那样,数据网格(Data Mesh)是一种数据平台架构,通过利用面向领域的自助式设计,拥抱企业中无处不在的数据。借用 _Eric Evans_ 的领域驱动设计理论(DDD),这是一个灵活、可扩展的软件开发范式,将代码的结构和语言与其相应的业务领域相匹配。

Shockang的博客 4382

机器视觉检测实战教程 19页成品课程光源选型Halcon标定海康相机VisionPro

内容概要:机器视觉检测实战教程,19页6章成品课程PDF:视觉检测光源选型对照表+五个翻车案例、Halcon模板匹配create_shape_model七参数整定、视觉标定三类(9点/旋转/手眼)、海康工业相机C#取图黑图丢帧排坑、VisionPro QuickBuild部署License迁移C#宿主、远心镜头选型。含C#/Halcon代码与现场案例。适用人群:机器视觉工程师、自动化检测开发、企业内训。使用场景:视觉方案设计、选型、标定部署、团队培训。原创整理。

2027数据开发工程师校招准备:SQL、数据仓库、项目与证书怎么排优先级?

数据库系统工程师可作为数据库知识的学习方向,云平台认证适合技术栈明确的目标岗位,数据分析类认证则属于补充,不替代工程实践。截至2026年11月12日,2027届通常对应的2026年9—10月秋招集中阶段已经过去。尚未拿到满意录用结果的同学,应同步关注秋招后续批次、补录及2027年春招,具体以企业公告为准。

cspttty的博客 213

【医疗器械制造】基于酸碱腐蚀环境的一次性乳胶手套铝合金手模失效机理分析与量产风险控制

内容概要:本文围绕一次性医用乳胶手套生产中使用的铝合金手模在酸碱环境下的失效风险展开系统性分析,重点探讨其在外表面腐蚀、清洗循环、氯介质侵入及表面粗糙度控制等方面的工程挑战。研究表明,尽管市场上已有带涂层的铝合金手模供应,但其能否在强碱、酸洗、毛刷摩擦、冷热交变和氯共存的复杂工况下长期维持Ra 1.0—2.5 μm的表面质量并实现稳定脱模,仍需经过严格的多阶段验证。常规阳极氧化+PTFE涂层方案已被实测排除,而316L不锈钢筒体在湿氯环境中出现的三个月内腐蚀失效案例提示必须重视内腔隔离设计。文章强调,采购决策应基于“小批量试制—离线加速试验—影子生产验证—条件性放行”的四阶段准入机制,结合表面参数、工艺相容性、手套成品性能与全生命周期成本进行综合评估,避免依赖供应商宣传数据。; 适合人群:从事医疗器械制造、材料工程、设备采购与工艺质量管理的技术人员及决策管理者,尤其是涉及乳胶手套生产线优化与手模选型的相关从业人员。; 使用场景及目标:①评估铝合金手模替代陶瓷手模的技术可行性与风险边界;②建立手模选型的系统验证流程,防范因表面失效导致的脱模异常、手套缺陷与非计划停机;③指导采购合同中技术条款的制定,确保供应商交付具备可验证数据支撑; 阅读建议:此资源以工程实证为导向,建议读者结合自身产线工艺参数,重点关注外表面Ra控制、内腔双密封设计、影子生产验证方法及失效链追溯体系的构建,在试制阶段严格执行多维度联合判定标准,审慎推进规模化替代。

【新能源电力系统】项目介绍 MATLAB实现基于GWO-VMD-SSA-LSTM灰狼优化算法(GWO)结合变分模态分解(VMD)、麻雀搜索算法(SSA)及长短期记忆网络(LSTM)进行辐照度-温度驱动

内容概要:本文提出了一种融合灰狼优化算法(GWO)、变分模态分解(VMD)、麻雀搜索算法(SSA)和长短期记忆网络(LSTM)的复合模型(GWO-VMD-SSA-LSTM),用于实现高精度的辐照度-温度驱动短期光伏功率预测。该模型首先通过GWO优化VMD的关键参数(模态数K和惩罚因子α),实现对非平稳光伏功率序列的高效多尺度分解,降低信号复杂性;随后利用SSA对LSTM的超参数(如隐藏层单元数、Dropout率、学习率等)进行智能寻优,提升网络训练效率与泛化能力;最后通过独立LSTM网络对各VMD模态进行预测并重构输出。模型结合了信号分解、智能优化与深度学习优势,显著提升了在多云、阴雨等复杂天气下的预测精度与稳定性,并通过MAE、RMSE、MAPE和R²等指标验证了有效性。文中还提供了完整的MATLAB实现流程,涵盖数据清洗、归一化、滑动窗口构建、参数优化与结果可视化等环节。; 适合人群:具备一定机器学习与时间序列预测基础,从事新能源发电预测、智能电网调度、电力系统自动化等相关领域的科研人员、工程师及研究生。; 使用场景及目标:①解决光伏功率受辐照度、温度等因素影响而导致的强随机性、非平稳性预测难题;②提升短期(15分钟至1小时)光伏出力预测精度,支撑电网经济调度、储能协同控制与电力现货市场申报;③为多源气象数据驱动的可再生能源预测提供可扩展的技术框架。; 阅读建议:建议结合提供的MATLAB代码逐步实践,重点关注GWO与SSA的优化机制、VMD分解效果及其与LSTM的集成方式,注意避免时间泄漏问题,推荐在实际数据上复现实验以深入理解模型性能。

【DBO三维路径规划】基于多策略改进的蜣螂算法MSDBO多无人机协同集群避障路径规划(目标函数:最低成本:路径、高度、威胁、转角)研究(Matlab代码实现)

内容概要:本文研究了基于多策略改进的蜣螂优化算法(MSDBO)在多无人机协同集群三维路径规划中的应用,旨在解决复杂三维环境下的避障与最优路径搜索问题。通过构建包含路径长度、飞行高度、威胁规避和转弯角度的综合成本目标函数,利用MSDBO算法对多无人机系统的飞行轨迹进行全局优化,实现在保证安全性与稳定性的前提下达到最低能耗与最优性能的目标。文中详细阐述了算法的多策略改进机制、三维环境建模方法以及多无人机协同避障策略,并通过Matlab仿真平台验证了该方法相较于传统优化算法在收敛速度、路径质量和鲁棒性方面的优越性能。; 适合人群:具备一定优化算法理论基础和无人机控制系统知识的科研人员及研究生,特别适用于从事智能优化算法、多智能体协同控制、路径规划与自主导航等相关领域的研究人员和技术开发者。; 使用场景及目标:①应用于灾害救援、军事侦察、智能巡检等复杂三维场景中多无人机协同任务的路径规划;②为多目标约束下的路径优化、动态避障与能耗平衡问题提供高效的算法支持与仿真验证工具;③推动智能优化算法在无人系统自主决策与协同控制中的实际应用与工程落地。; 阅读建议:建议读者结合提供的Matlab代码深入理解算法的具体实现过程,重点关注目标函数设计、多策略改进机制(如种群初始化、自适应参数调整、局部搜索增强等)及仿真结果分析部分,同时可尝试将该算法迁移至其他智能优化算法框架中进行对比研究,以深化对路径规划问题本质的理解与实践能力的提升。

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

上一篇: Databend 存储架构总览
下一篇: 基于 MinIO 部署单实例 Databend | 新手篇(1)
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值