大数据之路——阿里巴巴大数据实践:总述

本文详细介绍了阿里巴巴的大数据系统架构,包括Aplus.JS和UserTask日志采集技术,TimeTunel实时消息处理平台,DataX数据同步工具,MaxCompute离线计算平台,StreamCompute实时计算平台,OneData数据管理体系,以及数据服务层和应用层的构建。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

阿里巴巴大数据系统架构图:
在这里插入图片描述

  1. Aplus.JS是web端日志采集技术
  2. UserTask是APP端日志采集技术
  3. TimeTunel(TT)是一个实时消息处理平台,类似于kafka+storm
  4. DataX是一个数据同步工具,将下层的不同的DB兼容在一起4. DataX是一个数据同步工具,将下层的不同的DB兼容在一起
  5. MaxCompute是离线计算平台
  6. StreamCompute是实时计算平台
  7. OneData是数据整理和管理的体系和工具,构建统一、规范、可共享的全栈数据体系,避免数据的冗余和重复建设,避免数据烟囱(无法被使用到的信息)和不一致。
  8. 各种计算出来的,分类后的数据存储在数据服务层,数据服务层构建在众多的数据库,如:MySQL,HBase等等之上,后续逐渐迁移到阿里云云数据库ApsaraDB for RDS上(简称RDB)和表格储存TableStore上。
  9. 其他的应用层需要使用数据,就要调用OneService层的接口(如:承接集团用户识别、用户画像等复杂数据查询)
  10. 应用层的技术就五花八门,常见的流量分析平台,搜索,广告推荐等等。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值