
Hadoop
文章平均质量分 74
Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。
Crazer.
一个爱搞技术的Crazer.
展开
-
Hadoop配置文件参数详解
Hadoop运行模式分为安全模式和非安全模式,在这里,我将讲述非安全模式下,主要配置文件的重要参数功能及作用,本文所使用的Hadoop版本为2.6.4。 etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultFS NameNode URI hdfs://host:port/ io.file.buffer.size 131...原创 2019-11-26 10:29:00 · 665 阅读 · 0 评论 -
解决yarn上的MapReduce作业失败问题container XXXX is running beyond physical memory limits
使用hive运行MR任务时出现内存不足的问题: SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/whzy/opt/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBi...原创 2019-11-26 10:24:48 · 1075 阅读 · 0 评论 -
【hadoop】HA集群时遇到的问题
【持续更新】解决一些使用HA集群遇到的问题,包括搭建、使用、开发等 1、在格式化HDFS时报错: 19/11/21 16:44:25 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to ...原创 2019-11-21 13:06:00 · 1299 阅读 · 1 评论