【Hadoop】Important Jiras Thoughout History

最新推荐文章于 2021-12-03 00:48:51 发布
原创 最新推荐文章于 2021-12-03 00:48:51 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文回顾了Hadoop历史上的一些重要Jiras，包括任务分配优化、调度器重构、并行作业初始化等，揭示了Hadoop系统如何逐步演进。通过深入学习这些Jiras，可以更好地理解Hadoop的设计原则和工作流程。

回顾Hadoop发展历史中的一些重要jira，对于学习和理解Hadoop设计原理和工作机制很有帮助，让你看到Hadoop commiters是如何一步步改进系统的。这里记录下个人觉得可以深入学习的jira。

https://issues.apache.org/jira/browse/HADOOP-3136  Assign multiple tasks per TaskTracker heartbeat

https://issues.apache.org/jira/browse/HADOOP-3412 Refactor the scheduler out of the JobTracker

https://issues.apache.org/jira/browse/HADOOP-4664 Parallelize job initialization

https://issues.apache.org/jira/browse/MAPREDUCE-93 Job Tracker should prefer input-splits from overloaded racks

https://issues.apache.org/jira/browse/HADOOP-288 Distributed Cache

https://issues.apache.org/jira/browse/HADOOP-249 Task JVM reuse

https://issues.apache.org/jira/browse/HADOOP-6659 Switch RPC to use Avro

https://issues.apache.org/jira/browse/HADOOP-7773 Add support for protocol buffer based RPC engine

https://issues.apache.org/jira/browse/HADOOP-1230 Replace parameters with context objects

https://issues.apache.org/jira/browse/MAPREDUCE-279 Map-Reduce 2.0


HDFS-2832: Enable support for heterogeneous storages in HDFS

HDFS-4949: Centralized cache management in HDFS

HDFS-347: Implementing short circuit reads with security

HDFS-1623: High Availability Framework for HDFS NN


http://www.quora.com/What-are-the-most-interesting-Hadoop-JIRA-issues 列出了更多有意思的jira

大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 8470
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误
念兮为美
09-27 1万+
解决java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
Hadoop history
weixin_34049032的博客
03-04 193
*The genesis of Hadoop came from the Google File System paper[11] that was published in October 2003. This paper spawned another research paper from Google – MapReduce: Simplif...
HDFS发展历史上的几个重大的JIRA
chenpingbupt的专栏
08-29 3005
转帖请注明本空间地址： chenpingbupt@gmail.com http://blog.youkuaiyun.com/chenpingbupt  HDFS发展的到现在，已经和从前有了很大的改观，陆续发生了一些比较重大的改变，比如Append的加入，Federation，HA等等。这些改变在hadoop的svn的代码库中也可以看到一些端倪，大部分重大的改变都能在svn代码库中找到对应
Hadoop 新特性、改进、优化和Bug分析系列5
pb_watercuizhen的博客
03-29 178
  作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-3/本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新书《Hadoop技术内幕：深入解析M...
Hadoop几个重要的JIRA
Mrknowledge
11-11 1209
【https://issues.apache.org/jira/browse/HADOOP-2857】 标题: libhdfs: no way to set JVM args other than classpath 作用：告诉我们如何设置libhdfs的jvm option
Hadoop 研究资料
tian的博客
04-16 257
本文整理了Hadoop相关的一些学习资料，包括文档、技术博客、Hadoop书籍等，欢迎大家补充，我将持续更新这个页面。 hadoop相关下载页面 hadoop各个版本下载页面：https://archive.apache.org/dist/hadoop/common/ 各个版本的jdk下载目录：http://www.oracle.com/technetwork/java/javase/arc...
hadoop中的Jobhistory历史服务器
weixin_45889100的博客
05-18 1153
1. 启动脚本 mr-jobhistory-daemon.sh start historyserver 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 默认的配置如下，但是需要手工修改为我们指定的那台服务器。 <property> <name>mapreduce.jobhistory.address</name> <val
大数据概述 /// hadoop集群搭建 /// Hadoop配置JobHistory /// Hadoop常用端口号
qq_42005540的博客
03-20 1310
大数据概述 ||| hadoop生态系统 ||| hadoop集群搭建 ||| Hadoop配置JobHistory ||| 端口号一、大数据是什么？二、hadoop生态系统2.1 hadoop 2.0 框架2.2 hadoop的概念官网定义：hadoop可以分为狭义和广义两种：2.3 hadoop生态系统中主要部件的介绍：Flume（日志收集工具）2.4 hadoop的三大核心组件HDFS架构HDFS写数据流程HDFS读数据流程三、hadoop集群搭建1、将已配置好的虚拟机视为主节点,克隆两台新的虚拟机
基于Hadoop的电影影评数据分析
04-04
【基于Hadoop的电影影评数据分析】是一项大数据课程的大作业，旨在利用Hadoop的分布式处理能力来分析电影影评数据。Hadoop是一个由Apache软件基金会开发的开源框架，专为处理和存储大规模数据而设计。它由四个核心...
hadoop常识指南
Evan's learning log
11-25 1019
这是我在几个QQ群发起的Hadoop每日一讨论小活动，每天中午2点左右发出一个关于Hadoop的知识片段，在此做一个整理。 【每日一讨论】之计算框架（2013-5-21） 就计算框架而言，Hadoop目前比较成熟的只有离线计算框架MapReduce（通常运行时间在1min以上），以及构建在MapReduce之上支持sql的Hive。随着发展，实时计算（通常运行时间在0~5s）有了需求，于是
Hadoop基本概念、hdfs架构设计、读写流程
qq_45494908的博客
12-03 501
-
hadoop配置启动historyserver
tszxlzc的专栏
07-08 1万+
yarn-site.xml增加如下配置<!--配置历史服务器--> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.1.105:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</na
Hadoop中的jobhistory配置与启动停止
热门推荐
段渣渣推轮子的飙车场
03-25 1万+
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.youkuaiyun.com/xiaoduan_/article/details/79689882 Hadoop中的jobhistory配置与启动停止 jobhistory配置 在yarn-site.xml中添加 &lt;!-- 开启日志聚合 --&gt; &lt;property&gt; ...
hadoop集群中解决查看任务的history报错问题
Angelababy_huan的博客
11-01 2351
开启集群，运行MR任务，在8088端口查看任务信息的时候：     出现如下错误：     解决方法：     首先将/tmp的权限修改为777，看是否可以解决问题。如果不行，再检查集群的时间是否统一。如果不统一，利用ntp将时间统一，即可查看。
Hadoop的jobhistoryserver配置
过河卒子Rover的博客
01-19 1万+
JobHistoryServer配置
(4)Hadoop YARN 的 历史查看
qq_36291682的博客
03-04 1万+
（1）开启YARN的历史查看功能    sbin/mr-jobhistory-daemon.sh start historyserver       用jps查看 多了一个JobHistoryServer    启动之后点击History就能查看了（2）Aggregation  日志的聚集功能 （将应用运行完成后的日志信息 上传到hdfs文件系统上）   在yarn-site.xml中添加属性：&...
Hadoop-Jobhistory的配置
叶小刀
09-05 3263
JobHistory用来记录MapReduce任务的完整信息到HDFS目录中，方便给定位信息改错。 配置文件：mapred-site.ml &lt;configuration&gt;      &lt;property&gt;         &lt;name&gt;mapreduce.framework.name&lt;/name&gt;         &lt;value&gt;yarn&...
hadoop 19888/jobhistory/logs打不开
最新发布
03-22
<think>好的，我现在要解决Hadoop JobHistory日志界面无法打开的问题，用户提到19888端口打不开。首先，我需要回忆一下Hadoop的组件结构，JobHistory Server负责展示已经完成的MapReduce作业的历史信息，通常通过19888端口提供Web界面。接下来，我需要考虑可能的原因和对应的解决方法。 首先，检查JobHistory Server是否正在运行。如果服务没有启动，当然无法访问端口。用户可能需要通过命令行启动服务，比如使用命令`sbin/mr-jobhistory-daemon.sh start historyserver`。 然后，确认端口监听情况。使用`netstat -tuln | grep 19888`查看端口是否处于监听状态。如果没有，可能是配置问题或者服务启动失败。 接下来，检查防火墙设置。Linux防火墙可能会阻止外部访问该端口，需要确保19888端口开放，比如使用`iptables`或者`firewalld`配置规则。 另外，查看Hadoop的配置文件，特别是mapred-site.xml中的配置项是否正确，比如`mapreduce.jobhistory.address`和`mapreduce.jobhistory.webapp.address`的地址和端口是否正确设置。如果配置错误，服务可能绑定到错误的接口或端口。 日志文件也是关键。查看JobHistory Server的日志，通常在Hadoop安装目录的logs目录下，比如`logs/mapred-*-historyserver-*.log`，寻找启动错误或异常信息，比如端口被占用或者其他配置问题。 还有可能是网络问题，比如主机名解析错误。确保在配置中使用的主机名能够正确解析，或者尝试使用IP地址直接访问。 此外，Hadoop版本兼容性也可能导致问题，特别是如果用户升级了Hadoop但未正确更新配置或重启服务。需要确认配置与版本匹配，并重启相关服务。 可能还需要检查其他服务是否占用了19888端口，使用`lsof -i :19888`查看是否有冲突的进程，如果有，需要终止冲突进程或修改JobHistory的配置端口。 最后，如果以上步骤都确认无误，可能还需要检查客户端的网络连接，比如浏览器代理设置、本地防火墙等，确保能够访问服务器的19888端口。 总结下来，解决步骤大致是：确认服务运行状态→检查端口监听→防火墙配置→配置文件正确性→查看日志定位错误→处理端口冲突→网络和DNS检查。需要逐步排查，从服务本身到外部因素逐一排除可能的问题。</think>### Hadoop JobHistory日志界面19888端口无法打开的解决方法 #### 1. **检查JobHistory Server运行状态** - 确保服务已启动，执行命令： ```bash $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh status historyserver ``` 若未运行，启动命令为： ```bash $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver ``` - **注意**：需用Hadoop安装用户执行命令[^1]。 #### 2. **验证端口监听状态** - 执行命令查看端口是否被监听： ```bash netstat -tuln | grep 19888 ``` 若未显示`LISTEN`状态，说明服务未正确绑定端口，需检查配置或日志。 #### 3. **防火墙配置检查** - **Linux防火墙**：开放19888端口 ```bash # 使用firewalld firewall-cmd --zone=public --add-port=19888/tcp --permanent firewall-cmd --reload # 使用iptables iptables -A INPUT -p tcp --dport 19888 -j ACCEPT service iptables save ``` - **云服务器安全组**：确保安全组规则允许入站流量通过19888端口[^2]。 #### 4. **配置文件检查** - 检查`mapred-site.xml`关键配置项： ```xml <property> <name>mapreduce.jobhistory.address</name> <value>0.0.0.0:10020</value> <!-- 控制RPC通信 --> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>0.0.0.0:19888</value> <!-- 控制HTTP访问 --> </property> ``` - **注意**：若绑定到`127.0.0.1`则只能本地访问，需改为`0.0.0.0`或具体IP[^3]。 #### 5. **日志分析** - 查看JobHistory Server日志（路径：`$HADOOP_HOME/logs/`）： ```bash tail -f mapred-*-historyserver-*.log ``` - **常见错误**： - 端口被占用：`java.net.BindException: Address already in use` - 权限不足：需检查目录权限（如`/tmp/hadoop-mapred`） #### 6. **DNS/主机名解析问题** - 在`/etc/hosts`中添加映射（若使用主机名）： ``` 192.168.1.100 hadoop-master ``` - 通过IP直接访问测试： ``` http://服务器IP:19888/jobhistory ``` #### 7. **其他可能原因** - **服务启动顺序问题**：需先启动HDFS和YARN，再启动JobHistory Server。 - **浏览器缓存**：尝试清除缓存或使用无痕模式访问。 - **Hadoop版本兼容性**：某些版本存在已知Bug，需检查版本发布说明[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值