Hadoop
关注
分享
扫一扫
文章平均质量分 87
luxiangzhou
这个作者很懒，什么都没留下…
展开
-
Vmware虚拟机三种网络模式详解：Bridged（桥接模式）、NAT（网络地址转换模式，主要用的）、Host-Only（仅主机模式）
由于Linux目前很热门，越来越多的人在学习linux，但是买一台服务放家里来学习，实在是很浪费。那么如何解决这个问题？虚拟机软件是很好的选择，常用的虚拟机软件有vmware workstations和virtual box等。在使用虚拟机软件的时候，很多初学者都会遇到很多问题，而vmware的网络连接问题是大家遇到最多问题之一。在学习交流群里面，几乎每天都会有同学问到这些问题，写这篇详解也是因为...转载 2018-03-16 08:55:25 · 494 阅读 · 0 评论 -
hadoop mapreduce之坑、优化
坑：1、reduce中values不能循环多次，第2次之后循环values，values是空取不到数据；优化：1、map、reduce中声明对象放在外面；2、map要用异常处理，异常错误限定日志数量；...原创 2018-12-08 16:44:06 · 276 阅读 · 0 评论 -
Hadoop Shell命令
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#chmodHadoop Shell命令FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls ls...转载 2018-09-12 11:23:00 · 145 阅读 · 0 评论 -
windows上eclipse运行hadoop程序报NullPointerException错
windows上eclipse运行hadoop程序报NullPointerException错log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system...原创 2018-08-30 14:31:50 · 1220 阅读 · 0 评论 -
hadoop从节点启动不了NodeManager
yarn-site.xml文件加入以下配置<property> <description>The address of the container manager in the NM.</description> <name>yarn.nodemanager.address</name> ...原创 2018-08-24 10:25:09 · 8109 阅读 · 1 评论 -
Hadoop 2.x常用端口及查看方法
一、常用端口组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNo...转载 2018-08-24 10:16:13 · 1901 阅读 · 0 评论 -
运行hadoop任务报错org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource requ
yarn-site.xml文件中加上<property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>200</value></property>原因：yarn默认是设置1.5G内存来运行任务，但是虚拟机内存太小，没有1....原创 2018-08-24 09:42:18 · 8600 阅读 · 2 评论 -
hadoop 启动报错 Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode
启动hadoop集群的时候，datanode无法启动：2018-08-06 17:54:42,346 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/java/hadoop/tmp/dfs/data/java.io.IOException: I...转载 2018-08-24 09:34:24 · 2667 阅读 · 0 评论 -
Hadoop2.7安装环境准备
一、设置主机名vim /etc/sysconfig/network重启网络service network restart二、配置hostvim /etc/hosts三、关闭防火墙关闭：chkconfig iptables off验证：chkconfig --list | grepiptables四、SSH免密码登录机器有5台：s100,s101,s102...原创 2018-03-22 09:39:05 · 221 阅读 · 0 评论 -
hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.a...转载 2018-03-19 16:09:07 · 183 阅读 · 0 评论 -
虚拟机VMware中CentOS配置NAT方式连接外网，并且windows7可以使用Xshell连接CentOS
centos下载链接：http://archive.kernel.org/centos-vault/6.5/isos/x86_64/本文目的有2个：1、虚拟机VMware中CentOS配置NAT方式连接外网；2、windows7可以使用Xshell连接CentOS。一、Windows7系统配置本地连接共享右击桌面下面的Internet，打开网络和共享中心点击更...原创 2018-03-16 15:36:21 · 2644 阅读 · 2 评论 -
Yarn之日志分析
前言Yarn中的id种类繁多，比较乱，下面整理下yarn中常出现的几种id，分别介绍一下。1）jobId描述：出自MapReduce，对作业的唯一标识。格式：job_${clusterStartTime}_${jobid}例子：job_1498552288473_27422）applicationId描述：在yarn中对作业的唯一标识。格式：application_${clu...转载 2019-04-28 09:13:01 · 1501 阅读 · 0 评论