danielchan2518的专栏

一、系统准备1、准备三台服务器修改/etc/hosts文件，加入下面配置172.16.4.13 master 172.16.4.14 slave1 172.16.4.15 slave2然后拷贝hosts到其他两台[root@localhost ~]$ scp /etc/hosts root@slave1:/etc [root@localhost ~]$ scp /etc/host...

用idea编写mapreduce读写hbase，并打包jar放到集群服务器上运行时出现下面错误： [2019-01-05 04:03:01.278]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes ...

mapreduce运行中发现有任务被kill掉，多半是因为内存分配不足造成，所有需要修改内存配置。 首先在yarn-site.xml中添加下面内容： <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>22528</v...

用idea里的scala写spark 2.4.0方法时会提示找不到reduceByKey这个方法。 import org.apache.spark.SparkContext._ 把上面这一行加入后还是提示找不到reduceByKey，但这时不用管错误提示，继续编译打包是成功的...