Flink开发笔记三1. 表2. 更新模式3. 输出到mysql4. 动态表转换成DataStream5. 时间特性6. 窗口6.1. 案例7. 函数7.1. 一对一，scalar函数1. 表2. 更新模式3. 输出到mysql4. 动态表转换成DataStream5. 时间特性6. 窗口6.1. 案例package com.xiaofan.apitest.tabletestimport com.xiaofan.apitest.source.SensorR

Flink开发笔记二1. WindowFunction2. Watermark2.1. 分布式的Watermark2.2. DataStream和其他流之间的转换2.3. Window的抽象概念2.4. Window Trigger2.5. Window Evictor2.6. 1.11版本Watermark写法3. State 状态管理3.1. 算子状态（operator state）3.2. 键控状态（keyed state）3.3. 状态编程4. ProcessFunction API（底层 API）

Flink开发笔记1. pom.xml2. 并行度优先级问题3. wordcount再standalone结点（默认配置）提交资源不足的问题集群提交常用命令1. pom.xml<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <flink.versio

Flink实战1. 创建项目步骤2. 添加pom.xml3. 编写代码进行测试1. 创建项目步骤安装scala 2.11.8在idea中安装scala插件，并且导入scala创建普通的maven项目，创建scala相关文件夹，并且标记source 和 test给这个module添加scala依赖2. 添加pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache

Flink1.11 安装部署及Release 文档解读1. [Flink 1.11 Release 文档解读](https://ci.apache.org/projects/flink/flink-docs-release-1.11/release-notes/flink-1.11.html)1.1. 集群和部署1.2. 内存管理1.3. Table API/SQL1.4. 状态1.5. Connectors1.6. Runtime1.7. 各种接口变更1.x. 参考链接2. [构建安装部署](https:

离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结1. 业务数据采集1.1. 后台通过`logback`把业务接口日志写入到本地文件1.1.1. logback配置文件1.1.2. 拦截器当中记录接口日志1.1.3. 本地日志目录1.2. 通过Flume采集数据到Kafka1.3.2. 生成用户画像3. 推广效果分析4. 知识点总结4.1. Tomcat4.1.1. [Tomcat使用详细教程](https://blog.youkuaiyun.com/weixin_39657319/article/det

Flink ProcessFunction介绍及KeyedProcessFunction实例1. ProcessFunction简介2. KeyedProcessFunction简单使用2.1. [Java版本](https://github.com/fanjianhai/flink_project_maven_repository.git)2.2. [Scala版本]()（`代码非常简洁`）3. 参考链接4. 寄语：心静一切皆美，情深万象皆深1. ProcessFunction简介转换算子是无法访问

logback详解1. [logback的使用和logback.xml详解](https://www.cnblogs.com/warking/p/5710303.html)1.1. 按指定间隔滚动生成日志文件1.2. [logback指定某一包或者类下日志记录到不同文件中](https://blog.youkuaiyun.com/philip502/article/details/105268526/)1.3. [logback按日期和大小切分日志](https://blog.youkuaiyun.com/itjavaer/art

Flink源码分析1. [Blink的初使用](https://www.jianshu.com/p/4f59e512b178)1. Blink的初使用注意： blink和flink的用法和部署差不多，只是底层做了优化，里面已经兼容了各个版本的hadoop了...

文章目录1. SQL1.1. 初始化操作1.2. 数据定义语言DDL（==Data Definition Language==）1.3. 数据操纵语言DML（==Data Manipulation Language==）1.4. 数据查询语言DQL（==Data Query Language==）1.5. 数据控制语言DCL（==Data Control Language==）2. HQL3. F...

文章目录1. Flink Yarn 模式高可用性配置1. Flink Yarn 模式高可用性配置本次采用自编译（基于Flink-1.10，hadoop-2.9.2）搭建集群Flink高可用集群搭建启动集群时遇到的错误错误一java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/St...

文章目录1. Flink DataSet语义注解1.1. ForwardedFields转发字段1.1.1. 单输入算子转发字段1.1.2. 双输入算子转发字段1.2. Read Fields(读取字段注解)2. [Flink 1.10源代码编译,基于Flink release-1.10分支](https://blog.youkuaiyun.com/m0_37690267/article/details/1...

Flink Connector Kafka1. Kafka1.1. [Kafka官网](http://kafka.apache.org/)1.2. Kafka 简述1.3. Kafka特性1.4. kafka的应用场景2. Kafka与Flink的融合3. 寄语：海阔凭鱼跃，天高任鸟飞1. Kafka1.1. Kafka官网1.2. Kafka 简述Kafka 是一个分布式消息系统：...

Flink DataStream API 编程指南目录1. 概览2. Event Time and Watermarks2.1. [EventTime时间模型](https://www.jianshu.com/p/c39f224ec39f)2.2. 水印测试2.3. 延迟测试2.4. [再谈Flink事件时间、水印和迟到数据处理](https://www.jianshu.com/p/c612e95...

文章目录1. Transformation算子2. Action算子1. Transformation算子2. Action算子

文章目录1. 常用Scope区别2. [Flink集群搭建](https://www.jianshu.com/p/c47e8f438291)2.1. 独立集群2.2. yarn集群2.3. 高可用HA3. [SLF4J和Logback和Log4j和Logging的区别与联系](https://www.cnblogs.com/suger43894/p/9543685.html)3.1. ==一个著名...

文章目录1. Flink教程1.1. [诸葛子房的博客基础篇](https://www.cnblogs.com/zgzf/p/10794473.html)1.2. [诸葛子房的博客(新)](https://blog.youkuaiyun.com/weixin_43291055/category_9115592.html)2. Flink 定义2.1. Flink应用开发相关知识2.2. Flink基本架构原理...

文章目录1. [Flink官网](https://flink.apache.org/)2. Apache Flink简介1. Flink官网2. Apache Flink简介Apache Flink 是一个开源框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。总述处理无界和有界数据部署应用到...