最近研究Flink源码的时候，发现Flink已经支持提交StreamGraph到集群了，替换掉了原来的提交JobGraph。Flink2还移除了Per-Job的部署模式。

适合Spark SQL和Spark Structured Streaming直接上代码SparkSession spark = SparkSession .builder() .appName("spark-job") .getOrCreate();RuntimeConfig conf = spa...

将flink输出到hdfs的数据压缩成gzip格式CompressionOutputStreamWrapper.classimport org.apache.hadoop.io.compress.CompressionOutputStream;import java.io.Serializable;public class CompressionOutputStreamWrapper ...

具体的配置需要参考core-site.xml和hdfs-site.xmlval sc = new SparkContext()// 多个HDFS的相同配置sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1", "hdfs://cluster2");sc.hadoopConfigu

类型问题： count distinct(case when num > 0 then id else null end) 问题 如果num<=0，就返回null，正常情况下这个结果为0，但是，如果id类型为bigint，那这个结果为1（错误） 解决 更改为：cast(id as string) count distinct(case when num > 0 the...

flume整合MySQL

Ambari告警邮件配置

Ambari删除节点

Kafka使用ambari安装遇到的问题

1.复制check_ganglia.py到/usr/lib64/nagios/pluginscheck_ganglia.py（自行修改的，官方的有BUG） “`!/usr/bin/env pythonimport sys import getopt import socket import xml.parsers.expatclass GParser: def init(self,

1.安装依赖yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig2.安装ganglia-gmetad 和 ganglia-webyum search gangliayum install -y ganglia-gmetad.x86_64 gangli

nagios安装和配置

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl