Hadoop JobHistoryServer的启动方法和示例代码

77 篇文章 ¥59.90 ¥99.00
本文介绍了Hadoop JobHistoryServer的启动方法,包括进入Hadoop安装目录、启动脚本的使用,以及通过Web界面访问作业历史信息。提供了启动JobHistoryServer的示例代码,帮助用户在Java程序中实现JobHistoryServer的启动,便于作业的监控和调试。

Hadoop JobHistoryServer是Hadoop生态系统中的一个组件,用于收集和展示Hadoop作业的历史信息。它可以帮助用户跟踪和监控作业的执行情况,提供有关作业的统计数据和日志信息。下面是关于如何启动Hadoop JobHistoryServer的详细说明和示例代码。

首先,确保你已经完成了Hadoop集群的安装和配置,并且所有必需的服务都已启动。接下来,按照以下步骤启动JobHistoryServer:

  1. 进入Hadoop的安装目录。在终端中使用以下命令:

    cd /path/to/hadoop
    ```
    
    
  2. 进入sbin目录,该目录包含了Hadoop的启动脚本。使用以下命令进入sbin目录:

    cd sbin
    ```
    
    
  3. 使用以下命令启动JobHistoryServer:

    ./mr-jobhistory-daemon.sh start historyserver
    ```
    
    这将启动JobHistoryServer并将其作为后台进程运行。你可以使用`./mr-jobhistory-daemon.sh stop historyserver`命令停止JobHistoryServer。
    
    注意:在启动JobHistoryServer之前,确保你的Hadoop配置文件中已经正确设置了JobHistoryServer的相关配置。可以编辑`$HADOOP_CONF_DIR/mapred-site.xml`文件来进行配置。
    
    

启动JobHistoryServer

2025-03-21 10:37:08,064 ERROR org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer: RECEIVED SIGNAL 15: SIGTERM 2025-03-21 10:37:08,244 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping JobHistoryServer metrics system... 2025-03-21 10:37:08,268 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: JobHistoryServer metrics system stopped. 2025-03-21 10:37:08,272 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: JobHistoryServer metrics system shutdown complete. 2025-03-21 10:37:08,285 INFO org.apache.hadoop.ipc.Server: Stopping server on 10033 2025-03-21 10:37:08,306 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 10033 2025-03-21 10:37:08,308 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server Responder 2025-03-21 10:37:08,435 INFO org.apache.hadoop.ipc.Server: Stopping server on 10020 2025-03-21 10:37:08,454 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 10020 2025-03-21 10:37:08,473 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server Responder 2025-03-21 10:37:08,578 INFO org.mortbay.log: Stopped HttpServer2$SelectChannelConnectorWithSafeStartup@bigdatahadoop111:19888 2025-03-21 10:37:08,584 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Stopping JobHistory 2025-03-21 10:37:08,584 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Stopping History Cleaner/Move To Done 2025-03-21 10:37:08,597 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
03-22
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值