magicpenta的博客

Watermark 是什么在基于 event time 的实时计算中，我们常常会碰到 乱序数据 的场景。在理想情况下，我们以为我们的数据流会是这样的：但实际上受网络波动等影响，大多数情况下是这样的：在这种乱序的场景下，数据丢失是必然的。假设我们有一个大小为 [0, 5) 的窗口（单位为秒），当上述 event time 为 5 的元素输入时，该窗口会触发计算并关闭，导致后续流入的元素（2、3、4）找不到对应窗口而丢失。为了解决这种乱序数据带来的数据丢失问题，Flink 提供了 Watermar

众所周知，Flink 是流处理计算框架，专为流式数据而生。流式数据有一个特点，即无界性。在很多场景中，这种无界性会使很多计算指标失去了意义，如结果统计、大小排序等。Window（窗口）的出现，正是为了解决无界性的问题。它可以将无界数据按照某种规则划分成有界数据，并在之上完成业务计算。本文将重点介绍 Flink 的 Window API，以帮助读者了解 Flink Window 的概念及使用方式。???? 在 Flink 1.13 版本中，常用的 Window 基本都是基于时间的 TimeWindow

Flink 根据抽象程度分层，提供了三种不同的 API。每一种 API 在简洁性和表达力上有着不同的侧重，并且针对不同的应用场景。DataStream API 是 Flink 中用于编写流处理作业的 API，为许多通用的流处理操作提供了处理原语。它支持 Java 和 Scala 语言，预先定义了例如 map()、reduce()、aggregate() 等函数。​在 DataStream API 中，Flink 应用程序同样包含以下步骤：获取 execution environment定义数据

什么是 FlinkApache Flink 是一个分布式计算框架，它能够对有界和无界的数据流进行高效的处理。有界数据：即批数据（离线数据），具有已定义的起止位置，属于静态数据集无界数据：即流式数据（实时数据），无已定义的结束位置，属于动态数据集Flink 特点在官方的介绍中，Flink 具有以下优势：Deploy Applications Anywhere：Flink 集成了所有常见的集群资源管理器，例如 Hadoop YARN、Apache Mesos 和 Kubernetes，也可以

About ZstdZstd，全称 Zstandard，是 Facebook 于 2016 年开源的新无损压缩算法。与 zlib、lz4、xz 等当前流行的压缩算法不同，Zstd 寻求一种压缩性能与压缩率通吃的方案，而实际上它也确实做到了。在由官方所列出的表格中，可以看到，Zstd 不仅具备优秀的压缩性能，在压缩率上也有非常亮眼的表现。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RXOO1Z8l-1596090419061)(https://engineering.fb

前言本文目的在于通过 flume、zookeeper、kafka、docker 搭建基本的日志采集系统，实现日志的采集并将数据发送至 Kafka。搭建前，需确保已安装以下组件：JDK 8FlumeZookeeperKafkaDocker同时需确保已掌握以下技能：能在本地部署并成功启动 Flume，且了解 Flume 的核心概念 source、channel、sink能基本使用 Zookeeper，了解节点的创建、更新、查看与删除能基本使用 Kafka，了解 topic 的概念，实

文章目录一、Clickhouse 简介二、Clickhouse 安装2.1 系统要求2.2 安装方式2.2.1 rpm 包下载2.2.2 rpm 包安装三、Clickhouse 启动与验证一、Clickhouse 简介Clickhouse 是一个开源的面向联机分析处理（OLAP, On-Line Analytical Processing）的列式存储数据库管理系统。Clickhouse 的优...

文章目录一、JDBC 驱动二、代码示例2.1 create table2.2 batch insert2.3 select query2.4 drop table三、解决 Connection refuse 的问题一、JDBC 驱动clickhouse 有两种 JDBC 驱动实现。官方驱动：<dependency> <groupId>ru.yandex.cl...

一、版本号system：CentOS 6Cloudera Manager：5.7.0CDH：5.7.0二、环境准备MySQL 5.6Java 8python 2.6三、安装步骤1. 进行集群角色划分，指定 server 与 agent在 Cloudera Manager 中，包含两种角色，server 与 agent，两者间关系如下：server 负责管理集群内主机...