Toco x Databend:Databend Cloud 如何满足 Web3 大数据服务的严苛考验?

[Web3] 基础第5篇: 共识算法与 P2P 通信协议 CometBFT 采用Tentmint 共识,一种易于理解、基本异步的 BFT 共识算法。该算法遵循一个简单的状态机,如下所示:上图展示了 Tendermint BFT 共识流程,描述了一个区块从提议(Propose)到最终提交(Commit)的完整过程。Tendermint 共识采用三阶段投票机制(Prevote、Precommit、Commit) 来确保区块最终性。三阶段投票机制(Prevote → Precommit → Commit)需要 2/3 以上的投票支持 才能进入下一阶段。 阅读详情

Toco 是一家位于瑞士的 Web3 服务提供商,致力于通过彻底改变全球金融体系的陈旧观念来应对气候变化。他们提供了一种开创性的碳货币 Tocos,每个流通中的 Tocos 代表一吨二氧化碳当量,存储在安全可靠的数字钱包中。用户可以使用 Tocos 应用轻松地将当地货币兑换为 Tocos,然后使用 Tocos 消费、储蓄或交易。每次用户使用 Tocos 进行日常交易时,都在通过推动对更多碳去除的需求来采取积极的气候行动。

业务挑战

目前,Toco 正在慢慢向欧洲扩张,已经开始进入多个国家。在整个行业进入快速增长的背景下,Toco 预计在未来的几个月中会面临较大的增长挑战。而对其技术团队而言,当其市场营销推广不断拓展时,对数据基础设施的考验才真正开始。营销团队想把所有东西都变成数据,以各种方式展现在人们的眼前。

因此,Toco 对大数据和分析平台的要求非常高,他们以数据为核心资产,并要求数据技术栈要具备模块化、自由扩展和变化的能力。Toco 想要的数据库,是一个可以访问 S3 Bucket,也可以使用不同工具从 S3 Bucket 中读取文件的数据库。同时,Toco 还希望这个数据库是一个计算、存储分离的架构,具备真正的灵活性和模块化。这样一来,Toco 对数据库选型的范围就缩小到了极少数。

为什么选择 Databend Cloud?

Databend Cloud 凭借着优秀的存储、计算分离架构和以下功能特点顺利进入了 Toco 的选型:

  1. Databend Cloud 借鉴了 Snowflake 的集群优点,以增强分布式计算能力。Databend Cloud 与 Snowflake 在体验上基本没有任何改变,这对 Toco 而言是极具吸引力的一点。但 Databend Cloud 在资源精细化调度、资源利用率方面都优于 Snowflake,成本也更低;
  2. Databend Cloud 具有业界领先的向量化计算引擎,所有算子都已经实现了向量化,大幅提升单机计算性能和分布式集群能力;
  3. Databend Cloud 完全基于对象存储设计,支持 HDFS、Amazon S3, Azure Blob, OSS, COS 等 20 多种对象存储协议。在对象存储上,真正实现了存储、计算分离,资源控制粒度更细。计算节点可以根据需求弹性扩展,而不受存储容量限制。Databend Cloud 还内置了 Stream(CDC)+ Task 流式运算及任务调度,可以实现流批一体化方案;
  4. Databend Cloud 提供对 STAGE 的原生支持。STAGE 是 Databend Cloud 数据流转的核心,用户可以从 STAGE 中加载数据和向 STAGE 中导出数据,还可以直接在 STAGE 中进行数据查询。用户只需要为 Databend Cloud 创建一个包含数据文件的 STAGE,就可以轻松进行数据查询,无需编写复杂的建表语句或繁琐的数据导入流程。在实际操作中, STAGE 向 Table 流转也非常简单。

Toco 技术负责人表示:“Toco 是一家正在成长中的公司,对大数据和数据分析平台要求非常高,Databend Cloud 基于对象存储设计,在低成本、高性能的同时还提供了完整灵活的数据处理流程,没有多少工具能够提供这样的便利性。”

解决方案

目前,Toco 将 Databend Cloud 作为主要的分析数据库来满足当前需求。应用主要分为几个阶段:

第一阶段:数据获取及处理

这一阶段,Toco 主要从应用程序的 API 和市场营销活动网页中获取数据,然后利用 Mage orchestration 来管理这些数据处理流程。Orchestration 会对端点的多个请求进行协调,以收集数据。然后将其向前推送到 S3 Bucket,Databend 从 S3 Bucket 中读取数据。Toco 还会在数据库中运行 DBT 流程,以转换和准备数据,这构成了一个非常强大的数据仓库。 

第二阶段:数据访问及展示

一旦数据准备好供客户使用,Toco 会通过 Superset 将处理过的表数据推送给客户。对于内部用户,Toco 会提供访问公共的 Superset Dashboard 权限,用户可以直接连接 Databend Cloud 并读取数据。公众也可以通过 Superset 面板访问某些数据。

这种结构化的方式确保了内部和外部客户都能以无缝、高效的方式访问必要的数据,但这个过程还缺乏自动化的流程,Toco 技术团队计划完善和扩展这些流程,以满足未来的需要。

由于平时的广告营销活动并没有存储所有数据,比如 PostgreSQL 和 MongoDB 数据库中的表数据。API 的方式很难满足需求,下一阶段,Toco 决定采用 Airbyte(Airbyte 是一种开源数据集成软件,会将应用程序、API和数据库中的数据同步到数据仓库、数据湖和其他目的地) 替代 API 获取数据,以自动化的方式自动创建源表和 S3 Bucket。开发人员对数据库的任何更改都会自动出现在源表上。

未来探索

目前,Toco 在使用 Databend Cloud 作为其分析数据库后,一切运行平稳顺畅,基本没遇到过什么问题。当后期营销越来越多时,可能会面临用户量激增的局面,届时 Toco 需要做“battle test”,在生产环境中检测系统的稳定性。

同时,Toco 计划把一些数据从 Databend Cloud 推送到用户的 API 端,然后使用 Airbyte 和 CDC ,做实时数据流分析的探索。这部分数据将主要提供给营销人员使用,例如实时确定客户的细分画像,这要求数据库具备准实时的数据分析能力,Databend Cloud 可以提供近实时数据分析,为业务提供时效性更强的业务决策支撑,帮助 Toco 应对日益增长的业务需求。

[Web3] 智能合约 02: Solidity 基础语法 通过 enum 关键字定义,代码案例Big,Small,Single,Double测试代码通过关键字 struct 定义,使用一个代码案例说明结构体的基本概念和使用userInfo1.homeAddress = unicode"天津市西青区xxx";注意事项结构体是 Solidity 中用于组织和管理数据的重要工具,特别适用于复杂数据结构的描述和操作。在设计合约时,合理使用结构体可以使代码更加清晰、模块化和易于维护。 阅读详情

相关推荐

[Web3] 智能合约 07: 最小代理(Proxy)理论与实战

EIP-1167 最小代理用一段固定的 45 字节字节码,把调用通过 delegatecall 转发到逻辑合约,以极低部署成本复用同一份实现。本文讲解字节码结构、delegatecall 工作原理、生成方式与应用场景,并结合 EIP-1167 案例拆解 OpenZeppelin Clone 库的 clone、cloneDeterministic、predictDeterministicAddress 三个函数。

OxYGC 85

[Web3] 智能合约 09: 项目实战① FishCake EventFi

以 FishCake EventFi 为例,拆解 Web3 智能合约项目从业务到落地的完整路径:NFT 会员与身份体系、活动即挖矿的 FCC 发放、Booster NFT 质押与年化收益,并逐层讲解 NftManger、FishcakeEventManager、StakinManager 三个合约的职责分工,以及 Go 服务层如何与链上合约协同。

OxYGC 142

[Web3] 智能合约 01: Solidity 开发入门与 Remix/Hardhat/Foundry

Solidity 是一种面向智能合约的高级语言,在 EVM 上开发,部署,运行,Solidity 编程语言是 Ethereum 团队开发,创建和管理的,主要是为了简化 EVM 上的智能合约的创建和管理。Solidity 编程语言有以下特点:面向合约编程:专为智能合约设计,这些合约都是运行在以太坊虚拟机(EVM )上,并且在 EVM 执行和管理链上的交易和协议静态类型:是静态类型语言,变量类型在编译时确定,提供了更严密的类型检查和更高的代码安全性。

OxYGC 413

[Web3] 智能合约 03: 函数/事件/继承/接口/异常处理

Solidity 函数的定义与多返回值、可见修饰符,pure/view/payable/virtual 四类函数修饰符的作用,函数重写与重载的区别与注意事项,合约事件的定义与用法,最后给出合约部署测试的完整示例,帮助你掌握智能合约中函数与事件的核心机制。

OxYGC 371

[Web3] 基础第6篇: 联盟链、公链、跨链与模块化区块链

三者并不是"谁替代谁"的关系:私有链解决内部账本的效率问题,联盟链解决多机构之间的信任协作问题,公链解决开放、抗审查的全球状态问题。后文的跨链与模块化讨论,都建立在这三种形态并存的前提之上。

OxYGC 220

[Web3] 智能合约 06: ERC20/721/1155 与 EIP1559

围绕以太坊代币标准与手续费机制展开:先讲清 ERC20 同质化代币的接口与实现要点,再对比 ERC721 非同质化资产与 ERC1155 多代币标准的差异和适用场景,最后拆解 EIP1559 的 baseFee、优先费与费用销毁模型,并给出 Solidity 代码示例与常见踩坑。

OxYGC 407

frontend-design skills

frontend-design skills

[Web3] 智能合约 05: 合约升级方式

Solidity 合约一旦部署就无法直接修改,本文系统梳理智能合约升级的五条路线:合约迁移、透明代理、UUPS、钻石代理与信标代理。结合 ERC20 代币迁移、数据合约与真实案例,逐条对比存储布局、权限控制与升级入口的差异,并给出可复用的实战代码,帮助开发者按项目场景选择最合适的可升级方案。

OxYGC 139

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

[Web3] 基础第7篇: 说透比特币的基本框架与原理

08 年的金融危机,中心金融,美元崩塌会导致全球经济崩溃,全球的国家为美国的经济买单;比特币全球流通性,资产去中心化发行,强调去中心化性和全球性,不会因为局部经济崩塌而崩溃,比特币崩溃全球经济才会崩溃;数字来取代传统金融,提高资产主权和全球性经济问题。比特币是第一个区块项目,也是目前为止去中心化程度最高,市值,受欢迎程度最高公链和数字货币,甚至已经成为全球各国央行的储备货币。Bitcoin 具备银行功能:产币的方式传统银行是中心化的,比特币产币是去中心化的,人人都可以参与的。

OxYGC 591

[Web3] 基础第9篇: 中高级概念与工具使用

L1(Layer 1)= 底层主链L2(Layer 2)= 扩容层L3(Layer 3)= 应用专用层 / 超级扩容层它们出现的核心原因是:区块链同时追求安全+ 去中心化+ 可扩展性很困难,因此逐层拆分职责。你可以把它理解成:L1 = 高速公路地基L2 = 高架桥(缓解拥堵)L3 = 专用车道(按业务定制)链抽象以 layer2 为例子来说明,先来看看 Layer2 基本机构。

OxYGC 320

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?.docx

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?

[Web3] 基础第8篇: 说透以太坊的基本框架与原理

以太坊是最具影响力的区块链平台之一。本文从发展历程与 ETH2.0 升级切入,讲清 EVM 状态机如何执行智能合约、账户与交易模型、Gas 计费与共识机制,并梳理 Layer2、DeFi、NFT 等生态分层,帮助读者建立对以太坊整体架构的系统认知。

OxYGC 478

高校技术转移办公室人员如何提升成果转化服务效率?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

[Web3] 智能合约 04: 高级开发实战与 OpenZeppelin

Solidity 高级开发实战:call、delegatecall、staticcall 与 multicall 四种合约交互机制的差异与代码案例,特殊全局变量的用法,通过 interface 跨合约调用,函数选择器的生成三步法、实战应用与 OpenZeppelin 生态实践。

OxYGC 277

[Web3] 基础系列总览: 9 篇目录与草稿链接

本系列共9篇,系统讲解区块链从起源到应用的完整知识体系:涵盖Web3与区块链关系、发展史、密码学基础、数据结构、共识机制、链形态演化,深入剖析比特币(UTXO、Taproot)与以太坊(EVM、智能合约)原理,并结合代码示例实现哈希计算、Merkle树、PoW挖矿及链上数据读取,最终落地至Token、NFT、DeFi与L2工具使用,构建“理论→实践”闭环学习路径。

OxYGC 454

国央企创新负责人如何利用平台实现技术需求的精准挖掘与匹配?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

Ollama安装教程

Ollama 是一个开源的大语言模型(LLM)部署工具,专为在本地机器部署和运行大模型而设计,通过简单的命令就可以在本地快速运行大模型(如DeepSeek、Llama、Gemma、QWQ等)。非常适合开发者、研究人员以及对数据安全和隐私有较高要求的企业和用户

学习AI应用开发,分享AI干货、获取最新AI咨询 3871
上一篇: Databend 开源周报第 149 期
下一篇: Databend 开源周报第 150 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值