wangyu_qiuxue的博客

Flink特性一、统一的数据处理组件栈，不仅能处理流处理，还可以用于批处理，机器学习，可以满足不同的用户的需求，对不同形式的计算进行了整合。二、支持时间时间，接入时间，处理时间等时间概念。三、基于轻量级分布式快照实现容错（checkpoint）。四、有状态计算。可以将状态存储在HDFS，内存，RockDB。五、支持高度灵活的窗口，比如：session window，滚动窗口，滑动窗口等。六、反压，当下流算子处理不过来的时候，对上层算子的消费速度进行控制。七、基于JVM实现自己的内存管理。.

Linux环境下安装FLink1.10.0并启动SQL-client读取Hive数据首先去官网下载Flink1.10.0的tgz的包，教程如上篇文章上半部分流程一样，然后配置一下FLINK_HOME/conf/sql-client-defaults.yaml：catalogs: - name: myhive #自己定个名字就行 type: hive hive-co...

Window10安装Flink1.10.0基本可以确定在window10安装Flink1.10.0启动时会出问题，特别恶心，目前无法修复，现在讲一讲我的踩坑经历。首先我们去官网下载压缩包，官网下载地址：https://flink.apache.org/downloads.html一步到位地址：http://archive.apache.org/dist/flink/flink-1.10.0/...

FLink读取+插入Hive数据入坑指南Flink1.9以上版本可以使用hivecatalog读取Hive数据，但是1.9对于Hive的版本支持不太友好，只支持2.3.4和1.2.1，笔者用的Hive版本是比较老的版本1.2.1,FLink是1.10.0,接下来说一说我在读取Hive数据和插入Hive数据期间遇到的问题。本地环境：window10，Flink：1.10.0目的：用本地电脑ID...