
集群运维
炼丹师666
要学神仙,驾鹤飞天,点石成金,妙不可言!
展开
-
mr监控命令
任务提交• 任务查看• 任务终止hadoop jar {jarFile} [mainClass] argsjarFIle: MapReduce运行程序的jar包mainClass: jar包中main函数的类名args: 程序调用需要的参数,比如输入输出路径任务查看sudo –u yarn application -lis任务终止sudo –u yarn applicati...原创 2020-01-10 21:57:36 · 262 阅读 · 0 评论 -
修改内核临时端口范围
或 cat /proc/sys/net/ipv4/ip_local_port_range参考https://blog.youkuaiyun.com/yiyeguzhou100/article/details/51532893原创 2020-01-09 19:08:43 · 200 阅读 · 0 评论 -
centos7|redhat找不到ifconfig,netstat,route命令解决
centos7|redhat找不到ifconfig,netstat,route命令解决再次安装:yum -y install net-tools参考博客:https://blog.youkuaiyun.com/e10million/article/details/85092485原创 2020-01-09 15:47:41 · 756 阅读 · 0 评论 -
Ganglia配置文件解读和排查
在/var/lib/transwarp-manager/agent/metricInfo/grid文件中记录的当前集群的ganglia结构信息{ "gmetadClusters" : [ { "id" : 1, "dataSourceName" : "cluster_1", "gmetadGridName" : "cluster_1", "gmetadNod...原创 2019-12-05 11:09:26 · 213 阅读 · 0 评论 -
sql批处理任务失败排查_mapjoin
sql批处理任务失败排查_mapjoinrubik任务运行失败需要分析, 到底哪个sql出错分析到是这个sql运行失败,3个表做join另外,通过jmap查看是走了mapjoin这个参数设置是否走mapjoin的阈值,原来是是25M查看表的大小,orc表6M,但是变为文本表却是1.2G如果走mapjoin的话,不发生shuffle,会把小表当做广播变量分发到各个节点,分发的时...原创 2019-12-04 13:57:56 · 283 阅读 · 0 评论 -
#manager 添加节点失败-主机名问题
manager 添加节点失败-主机名问题#主机名相关的文件#存放主机名文件的位置:/etc/hosts,/etc/hostname /etc/resolv.conf/etc/sysconfig/network#如果在日志中发现主机名后面有莫名其妙的域名,那就是在这个文件里有问题/etc/resolv.conf...原创 2019-12-04 09:58:13 · 281 阅读 · 0 评论 -
端口列表_端口占用问题解决kill_ps_net
linux端口占用问题解决集群由于OOM后,down机起不来,找不到原因,很大原因为端口被占用,参考以下步骤:https://www.cnblogs.com/itsharehome/p/8124324.html#查找被占用的端口netstat -nlp netstat -nlp | grep 8083 #2.查看端口属于哪个程序?端口被哪个进程占用lsof -i :8083 #3...原创 2019-12-03 09:38:00 · 242 阅读 · 0 评论