淘宝开源实时数据传输平台TimeTunnel

最新推荐文章于 2024-08-27 08:43:11 发布
原创 最新推荐文章于 2024-08-27 08:43:11 发布 · 739 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#领域模型

TimeTunnel 是一款高效、可靠且可扩展的实时数据传输平台，适用于实时日志收集、数据监控等场景。该平台采用发布/订阅模式，并支持消息的多用户订阅。

TimeTunnel是一个高效的、可靠的、可扩展的实时数据传输平台，广泛应用于实时日志收集、数据实时监控、广告效果实时反馈、数据库实时同步等领域。TimeTunnel基于发布\订阅的消息模型开发，支持消息多用户订阅 。


开源地址：

http://code.taobao.org/project/view/411/

阿里巴巴开源技术汇总：115个软件(五)
科技D人生
10-08 3336
阿里巴巴开源技术汇总：115个软件(五) 摘要： 很高兴又和广大读者相见了！今天是第五期阿里巴巴开源技术汇总。在前面四期中我们带领大家浏览了许多阿里的开源项目，相信现在读者们跟我一样对阿里的很多优秀的项目都耳熟能详了。在今天这一期的汇总中，我们又为读者呈现了20个精彩的开源项目，20个新的面孔，现在就和我们云栖社区一起走近它们，领略它们的风采吧！ 很高兴又和广大读者相见了！今天是第五期
【硬刚大数据】企业级大数据平台建设参考 | 淘宝&滴滴&美团&360&快手&京东
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 899
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 本文结合小编自己的经验并且参考了淘宝&滴滴&美团&360&快手等各个大厂大数据平台建设的思路。在尊重事实的基础上重新组织了语言和内容，旨在给读者揭...
淘宝开源timetunnel入门文档
02-06
淘宝开源timetunnel入门文档
淘宝实时数据传输平台: TimeTunnel介绍
热门推荐
张包峰的博客
05-19 1万+
作者在工作中遇到了类似流式数据实时接入的业务场景，所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具，文中的图片来自淘宝数据仓库团队交流过程中的sildes，也参考了一些相关文档。 业务背景 TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点（基于Hbase）。 目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据
TimeTunnel
iteye_16019的博客
05-31 517
靠自己努力赚钱：[url]http://72191.taobao.com[/url] 0.介绍 TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。 高性能 2k大小的消息，峰值每秒4w TPS的访问。淘宝3台服务器，每天处理2.3T（压缩后）数据，峰值每秒50MByte流入流量、13...
MySQL开源数据传输中间件架构设计实践
weixin_34077371的博客
11-07 426
本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。 主要内容： 本次分享将介绍目前数据迁移、数据同步、数据消费，多IDC架构中数据复制技术所面临问题及现有的产品和方案，并分享新开源的能在异构数据存储之间提供高性能和强大复制功能的DTLE相关技术内容。 提纲： MySQL Replication...
timetunnel搭建
zj360202的专栏
12-12 2004
timetunnel终于搭建成功了 timetunnel 目录结构： --------------1.apps                    ------------开发中用的，部署过程中这个文件夹下面可以没有内容 --------------2.broker                    ------------2.1 bin     保存执行脚本的
干货阿里巴巴 开源软件列表
科技D人生
06-01 9600
阿里的开源项目很多，这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目，例如LVS、Tengine，或者很有实践价值的中间件，今天小编为大家汇总了阿里开源的项目，快来看看吧！ 服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。 JDBC连接
数据研发学习笔记4.9：流计算
weixin_41961559的博客
05-18 1774
文章目录1 流计算概述1.1 静态数据和流数据1.2 批量计算和实时计算1.3 流计算概念1.4 流计算与Hadoop1.5 流计算框架2 流计算处理流程3 流计算应用4 流计算开源框架 – Storm5 Spark Streaming6 Samza7 Storm、Spark Streaming和Samza的应用场景 1 流计算概述 1.1 静态数据和流数据 1.2 批量计算和实时计算 1.3 流计算概念 1.4 流计算与Hadoop 1.5 流计算框架 2 流计算处理流程 3 流计算应用
datasphere-service:开源数据工作平台
05-26
DataSphere服务层 综合数据即服务平台 DataSphere是由Huahuidata Inc.贡献的开源数据即服务平台，可在任何数据源上提供Unified SQL，Restful API接口和数据虚拟化功能。 文献资料 得到帮助 执照 请参考文件。
实现数据自动上传服务器源码
03-14
指定的10个.txt文件（你自己随便建）,在服务器上自动建立对应文件名的文件夹（10个）,在文件名后面自动加当前日期,再把10个文件自动上传到服务器对应文件名称下,清除原路径下的文件
3dr数传调试软件新
08-28
最新的3dr数传调参软件，适用于apm mwc等飞控使用的3dr
淘宝大数据解析之timetunnel
豹先生
04-13 2060
1. 下载安装JDK。本文使用的是jdk-7u4-linux-i586.tar.gz。 2. 下载apache-maven-3.0.4-bin.tar.gz，解压到目标文件夹: root@ubuntu:/usr/local# tar zvxf apache-maven-3.0.4-bin.tar.gz 设置环境变量： root@ubuntu:~# vim /etc/profile 在文件
淘宝数据监控开源软件
sifeimeng的专栏
08-16 852
Tsar是淘宝开发的一个非常好用的系统监控工具，在淘宝内部大量使用，它不仅可以监控CPU、IO、内存、TCP等系统状态，也可以监控Apache，Nginx/Tengine，Squid等服务器状态。值得一提的是，Tsar 支持将数据存储到 MySQL 中，也可以将数据发送到 Nagios 报警服务器。 ㈠ 部署 ① tsar由于定时采集数据，需要crond服务正常。不依赖额外的库 ② 获得t...
如何实现高速文件传输？用一个比喻向你说清楚
ftrans123的博客
10-26 713
日常工作中，我们经常要给外地分/总公司的同事、众多合作伙伴传输文件。文件稍微大一点经常传输速度很慢，如果要的不急还能忍受，如果在限定时间内很快传给对方，这种龟速传输会让人崩溃。 怎么解决这个问题呢？ 高速文件传输可以简单具象成三个方面：修一条高速路、修一条不堵车的高速路、买辆重卡拉货。 那么怎么理解呢，想要加快文件传输速度，首先得尽量提升传输两端间的链路带宽（科普下，百兆宽带速度理论上限12.5M...
淘宝云梯分布式计算平台整体架构
架构文摘
06-04 836
一、系统架构1、系统整体架构数据流向从上到下，从各数据源、Gateway、云梯、到各应用场景。2、淘宝云计算介绍主要由数据源、数据平台、数据集群三部分构成二、数据同步方案...
构建基于ApacheNiFi的实时数据处理与传输平台
AI天才研究院
06-27 4405
随着互联网和物联网的发展，实时数据处理与传输成为了企业竞争的核心要素之一。在数据处理与传输过程中，Apache NiFi作为一条高性能、可扩展、可靠性高的数据处理流水线，可以帮助企业快速构建实时数据处理与传输平台。在基于 NiFi 的实时数据传输中，数据首先通过 Data fabric 组件进行治理，然后通过 NiFi API 或者 RESTful API 进行访问，最后通过数据传输组件进行传输。本部分将通过一个具体应用场景，阐述如何使用 NiFi 实现基于实时数据处理与传输的系统。
探索高效数据传输：pySerialTransfer 开源项目推荐
最新发布
gitblog_00310的博客
08-27 821
探索高效数据传输：pySerialTransfer 开源项目推荐 在现代技术应用中，高效、可靠的数据传输是确保系统稳定运行的关键。今天，我们将介绍一个强大的开源项目——pySerialTransfer，它为Python开发者提供了一种快速、可靠且支持数据包化的数据传输解决方案。 项目介绍 pySerialTransfer 是一个Python包，专门设计用于在设备间进行快速、可靠的数据传输。该项目不...
淘宝数据平台：分布式计算与实时数据传输
涵盖了数据平台的系统架构、数据同步方案、调度系统和元数据应用等内容，涉及淘宝内部的多个业务板块，如云梯分布式计算平台、数据魔方、量子统计等，并重点介绍了实时数据传输平台TimeTunnel。" 淘宝数据平台是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值