T_Janey

一、本地环境配置 配置本地环境前，先下载相关压缩包：[jdk1.8.0_74.tar.gz]，[hadoop-3.1.2.tar.gz]，[spark-2.3.1.tar.gz]，然后根据本地环境选择mac或windows配置 mac环境配置 配置jdk1.8 可参考https://jingyan.baidu.com/article/7f766daffd99354101e1d095.html 配置hadoop3.0 （1）下载并解压 hadoop-3.1.2.tar.gz （2）添加环境变量HADO

一、升级原因 在Docker 17.0.6版本中，由于docker hang死的bug，导致该物理机上的容器都有问题，以及hang 死后unknow host 异常 减少任务分配不上资源的现象 基于以上两个问题，做了以下升级：Docker 版本升级 17.0.6 -> 18.0.3 二、升级中遇到的问题 container 物理内存超 被kill 掉 连接异常 三、问题分析...