日三醒而智明

前提：当前系统为windows系统 已经安装jdk8 已经安装idea1、idea安装scala插件 在File--Settings--Plugins中搜索scala, 进行安装2、选择合适的Scala SDK版本 在File--Project Struncture--Global Library中4、官网下载（http://www.scala-lang.org/downloads）Scala-SDK二进制包，解压到本地磁盘5、指定...

本篇要解决的问题是：Container是以什么形式运行的？是单独的JVM进程吗？YARN的vcore和本机的CPU核数关系？每个Container能够使用的物理内存和虚拟内存是多少？一个NodeManager可以分配多少个Container？一个Container可以分配的最小内存是多少？最大内存内存是多少？以及最小、最大的VCore是多少？当将Spark程序部署在YARN上， AM与Driver的关系是什么？Spark on YARN，一个Container可以运行几个execut

<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <inherited>false</inherited> .

通常Flink集群配置好后，还不能直接访问HDFS，因为缺少相关jar包，会弹出无法解析hdfs类型的schema的错误：org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file sys

一、系统配置1、systemctl stop firewalld & systemctl disable firewalld2、systemctl start ntpd & systemctl enable ntpd3、vi /etc/sysconfig/selinux -> SELINUX=disabled4、vi /etc/hosts -> add ip - hostname map5、vi /etc/security/limits.conf -> ulim.

bin/kafka-server-start.sh -daemon config/server.properties --> 后台启动./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list node209:9092 --topic tp_1 --> 查看主题各分区记录数./kafka-console-consumer.sh --bootstrap-server node209:9092 --topic tp_1 --f.

Flink各中操作过程，流类型的转换关系图：

jobmanager.memory.process.size: 2gtaskmanager.memory.process.size: 12gio.tmp.dirs:/data/flink/tmp (默认系统属性java.io.tmpdir配置)web.upload.dir: /data/flink/jar (默认包上传路径)taskmanager.numberOfTaskSlots: 4parallelism.default: 1state.backend: rocksdbstate.c