
大数据运维之集群操作日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop resourcemanager webui端口修改后客户端配置是否需要修改?
1.cm上修改yarn web ui端口为8089:2.提示重启yarn和hive3.重新yarn和hive后,直接在客户端提交job,此时客户端配置如下:尝试提交job:发现直接提交成功,同时我们发现,客户端是线连接ResourceManager的8032端口,然后再去有RM转发job到对应的web ui地址,不走客户端配置。4.hive也正常5.结论...原创 2019-11-29 16:56:38 · 2900 阅读 · 0 评论 -
大内存也是否需要关闭
搭建hadoop集群时是否需要关闭大内存页,仅以实时响应来说,是需要的。具体如下问:hbase集群搭建是否需要关闭透明最大页hbase版本号:1.2.0+cdh5.13.0+411操作系统版本centos 7.5.1804HBASE 需要关闭透明最大页吗?答1:要关掉,否则GC时的Object copy耗时明显增加,对吞吐有显著影响。或者在hbase-env.sh添加-XX:+A...转载 2019-11-26 09:46:22 · 373 阅读 · 0 评论 -
cm中禁止namenode格式化
转载来自:https://cloud.tencent.com/developer/article/1349372如何禁止Namenode格式化在这篇文章中:1 文档编写目的 2 禁止Namenode格式化 2.1 从格式化到跑路 2.2 配置高级参数 3 参数功能验证 4 总结1 文档编写目的众所周知,Namenode存放Hadoop集群的元数据,Datanode...转载 2019-03-26 09:38:32 · 413 阅读 · 0 评论 -
hdfs文件租约lease未释放引发的job失败
1.报错现象如下2.参考链接:https://www.cnblogs.com/cssdongl/p/6700512.html(给出问题分析,再去解决问题)https://blog.youkuaiyun.com/qq_29992111/article/details/80533563(直接解决问题)3.操作如下:(1)找出租约未释放的文件 hdfs fsck /logs/product...转载 2019-07-01 15:55:31 · 2325 阅读 · 0 评论 -
linux删除大文件空间不释放问题解决
(1) echo " " > 大文件通过这种方法,磁盘空间不但可以马上释放,也可保障进程继续向文件写入日志,这种方法经常用于在线清理Apache、Tomcat、Nginx等Web服务产生的日志文件。(2)停掉持续往该文件写数据的进程,在进行大文件删除(3)如果以上两步(1),(2)都没有进行操作,而是直接删除大文件,那么先清理出足够的磁盘空间,用来安装lsof,然后执行:...原创 2018-10-16 16:21:37 · 3366 阅读 · 0 评论 -
linux用户权限添加
转载来自:lyl需求1:请给A,B两台主机的dgp_aop用户授以下权限: NOPASSWD: /usr/bin/yum,/usr/bin/vi,/usr/bin/cp,/usr/bin/rpm,/usr/bin/systemctl,/usr/bin/cp操作如下:(root,建议visudo,因为它会自动检查语法错误,防止修改sudo出错,远程无法登入...转载 2018-10-10 09:54:37 · 397 阅读 · 0 评论