项目经验之Hadoop宕机

前几天做项目遇到了Hadoop宕机的问题，现将解决的办法分享给大家：

1.如果是MR造成的系统宕机，就要控制Yarn同时运行的任务数和每个任务运行的最大内存，可以通过调整参数：yarn.scheduler.maximum-mb(单个任务可申请的最多物理内存，默认是8192MB)

2.如果是写入文件过量造成的NameNode宕机，那么就要调高kafka的存储大小，控制从kafka到HDFS的写入速度，一般我们在高峰期的时候要用kafka进行缓存，高峰期过去之后数据同步会自动跟上。