zhoucs86的博客

1，根据hadoop的版本在flink的页面上下载对应于hadoop版本和scala版本的flink的包 2，使用start-yarn.sh在集群上运行yarn，启动后可以在8088上面找到yarn的web界面 需要注意的是，需要将resourcemanager的地址指向master的地址 <property> <name>yarn.nodemanager....

qoop-import --as-avrodatafile --table film --target-dir /input --connect jdbc:mysql://192.168.13.128/sakila?tinyInt1isBit=false --username root --password 123 sqoop import -Dmapreduce.job.user.cl...

final StreamExecutionEnvironment env = StreamExecutionEnvironment .getExecutionEnvironment(); JSONKeyValueDeserializationSchema schema = new JSONKeyValueDeserializationSchema...

如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题： Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存：对象头占了8个，boolean 属性占了1个，对齐填充占了7个。而实际上只需要一个bit（1/8字节）...

flink run /opt/flink-1.7.2/examples/batch/WordCount.jar -input hdfs://192.168.13.128:9000/input/myfile.txt -output hdfs://192.168.13.128:9000/output/result.txt flink run ./SocketWindowWordCount.jar -...

计算flink的时候可以有一个旁流的概念 使用底层的process算子，就可以获取到一个ctx 的，可以在map的时候往里写东西 在 main stream上面可以通过 getSideOutput 来获取到这个流，对他进行流的处理 =============================== tumbling timeWindow timeWindow(Time.minut...

* An input gate consumes one or more partitions of a single produced intermediate result. * * <p>Each intermediate result is partitioned over its producing parallel subtasks; each of these *...

@author 鲁伟林 记录《Netty 实战》中各章节学习过程，写下一些自己的思考和总结，帮助使用Netty框架的开发技术人员们，能够有所得，避免踩坑。 本博客目录结构将严格按照书本《Netty 实战》，省略与Netty无关的内容，可能出现跳小章节。 本博客中涉及的完整代码： GitHub地址: https://github.com/thinkingfioa/netty-learning/tre...

BasicTypeInfo: 任意Java 基本类型（装箱的）或 String 类型。 BasicArrayTypeInfo: 任意Java基本类型数组（装箱的）或 String 数组。 WritableTypeInfo: 任意 Hadoop Writable 接口的实现类。 TupleTypeInfo: 任意的 Flink Tuple 类型(支持Tuple1 to Tuple25)。Flink ...