leaxning的博客

大数据集群架构图说明可能出现的问题 架构图 根据自己的数据量 1）20核物理CPU 40线程 * 7 = 280线程 内存128g * 7台 = 896g （计算任务内存700g，其他安装框架需要内存） 128m ----1g内存 87g数据 ---- 700g内存 2）根据数据规模搭建集群模拟的10台机器 说明 1）消耗内存的分开； 2）kafka 、zk 、flume 传输数据比较紧密的放在一起； 3）客户端尽量放在一到两台服务器上，方便外部访问； 4）还有就是MySQL，sqoop，azka

hadoop群起的问题hadoop1正常启动,但是hadoop2,3都是不正常分析问题解决方法 hadoop1正常启动,但是hadoop2,3都是不正常 – 自己搭的hadoop群起服务,第一台机器是正常启动, 但是第二台就没有datanodes,第三台也么有 分析问题 – 分析了一下,感觉就是要不ssh免密没做好, – 要不就是群起配置有问题, – 最后就是初始化出现问题; 解决方法 1,先是进去.ssh文件看了下,没有问题,并且手动测试了ssh相互登录,可以; 2,再去看看了关键的群起配置, 这五大

报错解决出现报错解决问题 出现报错 一般本地跑出现的问题 Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/E:/bdexer/output5-1 already exi 解决问题 这就是输出的文件出错导致的,可以删掉即可 ...

HDFS的客户端安装HDFS客户端环境准备测试安装写个demo HDFS客户端环境准备 –1.下载好hadoop3.0.0 –2配置好环境变量 测试安装 –cmd winutils有反应的话,就是可以的 写个demo **1用idea创建一个maven项目,添加如下依赖: <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</