
大数据好文转载
文章平均质量分 85
pezynd
工匠
展开
-
转载 | 年度盘点!Flink 社区全年的精华内容都在这里啦
转眼间,2020年悄然落幕。这一年,Flink 社区高速发展繁荣,我们发布了三个版本,举办了40+线上线下活动,推送了100+技术干货与最佳实践。新的一年开启之时,社区从年度最佳实践、核心技术解析、实时数仓实践、开源技术生态、机器学习应用等多个维度盘点了过去一年的成果,并向社区所有贡献者致敬。2021年,我们还将迎来哪些高光时刻,到达多远的远方,依旧期待您与我们共同前行!2020年度发版回顾 官宣 | Apache Flink 1.10.0 重磅发布,年度最大规模版本升级! ...转载 2021-02-10 14:30:57 · 170 阅读 · 0 评论 -
转载 | 如何优雅地重试
背景在微服务架构中,一个大系统被拆分成多个小服务,小服务之间大量 RPC 调用,经常可能因为网络抖动等原因导致 RPC 调用失败,这时候使用重试机制可以提高请求的最终成功率,减少故障影响,让系统运行更稳定。重试的风险重试能够提高服务稳定性,但是一般情况下大家都不会轻易去重试,或者说不敢重试,主要是因为重试有放大故障的风险。首先,重试会加大直接下游的负载。如下图,假设 A 服务调用 B 服务,重试次数设置为 r(包括首次请求),当 B 高负载时很可能调用不成功,这时 A 调用失败重试 B转载 2021-01-12 09:22:41 · 216 阅读 · 0 评论 -
转载 | 2020年腾讯技术工程十大热门文章
2020 年马上就要过去了,相信这绝对会是让每个人印象最深刻的一年。今年我们发布了 100+ 篇技术干货文章,这里汇总成一篇合集分享给各位,方便收藏阅读学习。(以下蓝色字体可直接点击跳转)十大热文1、万字详解:腾讯如何自研大规模知识图谱 Topbase摘要:Topbase 是由 TEG-AI 平台部构建并维护的一个专注于通用领域知识图谱,其涉及 226 种概念类型,共计 1 亿多实体,三元组数量达 22 亿。本文主要梳理 Topbase 构建过程中的技术经验,从 0 到 1 的介绍了..转载 2021-01-07 23:13:34 · 304 阅读 · 0 评论 -
转载 | 字节跳动 Flink 单点恢复功能实践
背景在字节跳动的实时计算场景中,我们有很多任务(数量 2k+)会直接服务于线上,其输出时延和稳定性会直接影响线上产品的用户体验,这类任务通常具有如下特点: 流量大,并发高(最大的任务并行度超过 1w) 拓扑类似于多流 Join,将各个数据源做整合输出给下游,不依赖 Checkpoint 没有使用 Checkpoint 并且对短时间内的小部分数据丢失不敏感(如 0.5%),但对数据输出的持续性要求极高 在 Flink 现有的架构设计中,多流 Join 拓扑下单个 Task 失转载 2020-09-28 09:56:02 · 166 阅读 · 0 评论