大数据之性能调优
关注
分享
扫一扫
掉进悬崖的狼
世界上并没有完美的程序，
但我们并不因此而沮丧，
因为写程序本来就是一个不断追求完美的过程。
你可以不够优秀，但不要甘于平凡。
展开
-
spark参数调优
spark参数调优前言为什么要发这篇文章呢？因为搞了半天，感觉这个更新换代很快啊~ 今天运行sparksql作业的时候，发现yarn上面的CPU资源，被占用完了，这™还搞个锤子并发嘛？任务没有资源无法运行截图如下：看了一下报错信息，原来是没有核数了~ 内存很充足~怎么回事呢？才刚刚提了一个sparksql任务就给占满了？排查过程经过排查代码后发现，代码中开启了...原创 2020-03-20 15:26:49 · 1340 阅读 · 0 评论 -
spark优化篇
原创 2019-03-08 16:32:46 · 223 阅读 · 0 评论 -
hive任务优化-Current usage: 2.0 GB of 2 GB physical memory used; 4.0 GB of 16.2 GB virtual memory used.
目录错误背景错误信息定位client端日志APPlication日志map和reduce单个错误日志错误分析解决方案1. 取消虚拟内存的检查（不建议）：2.增大mapreduce.map.memory.mb 或者 mapreduce.reduce.memory.mb（建议）3.适当增大 yarn.nodemanager.vmem-pmem-ratio的大小...原创 2020-03-26 12:01:04 · 4089 阅读 · 0 评论