yamaxifeng_132的专栏

最近有一个实际的场景需求，需要实时统计总数，于是想到了flink，从入门到实战，整个过程中一直不断的思考实际业务中的问题，在flink中如何解决，与kafka-stream的对比和spark的对比等等。整个思考和写出demo的过程中，对window机制有了深入的了解，并通过阅读flink java client的源码，了解了其trigger的实现。本文从实际需求出发，通过提出问题解决问题，结合源码了解flink。问题分析从实际场景出发场景：实时统计人流量总数，可以根据卡口按时段统计，可以

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。1.总体架构风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下：业务系统，通常是 APP + 后台 或者 web，是互联网业务的载体，风险从业务系统触发； 风控系统，为业务系统提供支持，根.

文章原标题：《容错和高性能如何兼得:Flink创始人谈流计算核心架构演化和现状》，转载自：https://mp.weixin.qq.com/s/MRLHwHyCliB0LrB_L_iSaQ前言当前，流数据平台的普及率正在飙升。为了解决日益增长的实时数据处理需求，一些公司正在将其部分大数据基础架构转换为流式处理模型。 基于流数据的基础架构不仅能够更好地解决延迟敏感的数据处理业务需求，同时提供更多深入业务洞察 ; 另外，流式数据处理平台让传统的数据仓库建设更加简单灵活。流式基础架构的关键部分是..

Hi~上篇文章介绍了时间窗口，Flink 时间窗口，Flink WaterMark，感兴趣请查看：Flink WaterMark简介结合上篇，本篇文章主要是通过代码实例的方式来展示如何设置WaterMarkWaterMark的设定由于种种原因，造成数据的乱序与延迟，在设置WaterMark时可以允许一定时间段的延迟（当然也不可能无限的等待），且在触发下一个窗口计算前，也会将Event Time进行排序，以保证数据有序WaterMark设定方法有两种：Punctuated Waterm

前言研究了一阵子Flink Streaming，将学习的东西记录下来，今天写一下WaterMark在写WaterMark之前，先来了解一下时间窗口时间窗口在流式计算中，数据像流水一样源源不断地来，数据是无边界的，当需要操作（计算）数据时，在茫茫数据流中不知从何开始，所以，这时我们需要一个边界（范围）将整个数据流划分开来于是，我们将源源不断的数据流划分为一段一段的数据集，称之为窗口流式系统的窗口有多种，最基本也是最常见的是时间窗口，顾名思义，根据时间来划分出一个一个有范围的窗口关于

flink 可以运行在 Linux, Mac OS X, and Windows 操作系统上面。要运行Flink得先安装JDK 8.X。JDK安装参看：http://www.itclj.com/blog/5920236681c06e672f942ad41.下载官网下载地址：https://flink.apache.org/zh/downloads.htmlGIThub源码下载地址：...

Ubuntu安装Flink-1.4.0