Focus on Lakehouse

Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次...

本文来自4月17日 Apache Flink x Iceberg Meetup 上海站胡争老师的分享，文末有视频回顾和PPT资源下载~欢迎关注公众号，一起探讨交流！【PPT下载】https...

整理：赵宇彤、苗文婷摘要：本文主要介绍 BTC.com 团队在实时 OLAP 方面的技术演进过程及生产优化实践，内容如下：业务背景机遇挑战架构演进架构优化未来展望Tips：点击文末「阅读原...

摘要：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括：背景及痛点Iceberg 架构痛点一：Kafka 数据丢失痛点二：近实时 Hive 压力...

来源|Apache Flink 官方博客翻译| 高赟（云骞）Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布！超过 200 名贡献者参与了 Fli...

整理 | 青渊（Flink 社区志愿者）校对 | 青雉（Flink 社区志愿者）摘要：本文根据 Apache Flink 系列直播整理而成，由美团点评数据系统研发工程师黄伟伦老师分享。主...

导读：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用Flink ...

整理| 高赟、程鹤群Review | 王治江Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分...

Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。我们知道，对于流式处理最重要的两件事，正...

本文主要介绍如何通过 Flink 实时构建搜索引擎的索引，将从背景介绍、索引分类、实时索引架构以及一种简单的实现方法四方面分享。1.背景介绍搜索引擎的出现大大降低了人们寻...

翻译｜宋辛童校对｜李钰Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flin...

数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以...

摘要：小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。伴随着小米业务的发展，流式平台也经历三次大升级改造，满足了众多业务的各种需求。最新的一次迭代基于 Apache Flink，对于流式平...

摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为Apache Flink 在贝壳找房业务中的应用，分为以下三方面： 业务规模与演进 Hermes 实时计算平台介绍 未来发展与规划 业务规模及演进下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务：二手房交易、新房交易、租赁业务及装修业务。四大业务运营将产生图示中间部分的四大数据即楼盘...

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。主要内容为以下三个方面： 实时计算演进与业务实践 基于 Flink 的实时数仓平台 未来发展与思考 一、美团点...

Spark和Flink都是优秀的框架，究竟有何不同，Spark还没学好现在又来了一个Flink，程序猿攻城狮们能接住招吗！本文主要从部分功能上聊一聊这款大数据处理引擎。