
Hadoop
文章平均质量分 51
小刘 同学
这个作者很懒,什么都没留下…
展开
-
Hadoop集群启动后缺少进程问题
NameNode在format初始化后会生成cluster ID(集群id)DataNode在启动后也会生成和NameNode一样的clusterID当NameNode突然被杀死或集群突然宕机,再次格式化后NameNode会生成新的clusterID,与未删除的DataNode的clusterID不一致就会导致该问题的发生。解决方法:① 先停止所有进程② 删除DataNode里的信息(默认在/tmp,如果修改了就在自己配置的目录下)hadoop102/103/104都要删除。原创 2024-04-15 16:40:39 · 650 阅读 · 2 评论 -
Hadoop集群启动的四种方式
使用脚本一键启动集群需要配置slaves配置文件和SSH免密登录hadoop01、hadoop02、hadoop03三台节点(视自身情况而定),为了在任意一台节点上执行脚本一键启动Hadoop服务,需要在三台虚拟机包括自身节点均配置SSH双向免密登录。将脚本放在/usr/bin目录下,创建脚本文件:hadoop.sh。在任意目录下都可以执行脚本文件。原创 2024-04-14 13:06:43 · 11034 阅读 · 2 评论 -
HDFS和YARN概述
4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。,如文件名、文件目录结构、文件属性,以及每个文件的块列表和块所在的DataNode等。3)ApplicationManager(AM):管理单个任务运行。1)ResourceManager(RM):管理整个集群资源。2)NodeManager(NM):管理单个节点服务器资源。2集群上可以运行多个Application。(dn):在本地文件系统。,以及块数据的校验和。注:1客户端可以有多个。原创 2024-03-16 14:57:42 · 238 阅读 · 1 评论