Hadoop
关注
分享
扫一扫
FresherHe
这个作者很懒，什么都没留下…
展开
-
Hadoop本地测试错误：(null) entry in command string: null chmod 0700 H:\h\home\centos\hadoop\mapred\staging\
在 Windows 上对 MR 做本地测试时，出现了如下错误：java.io.IOException: (null) entry in command string: null chmod 0700 H:\home\centos\hadoop\mapred\staging\xxx1514221591\.staging解决方案：将 Hadoop 安装目录下bin/hadoop.dll ...原创 2019-02-02 20:53:32 · 3252 阅读 · 0 评论 -
Hadoop与MySQL进行交互实现
准备工作：1、安装和配置好 MySQL2、创建数据表，并写入测试数据；以及创建结果表，以便MR写入数据注意： 1、与 mysql 交互时，Mapper的输出类型 (LongWritable,DBWritable)；Reducer的输出类型 (DBWritable,NullWritable) 2、如果提交到集群上运行，需要注意 2 点： a>...原创 2019-02-22 13:53:30 · 2961 阅读 · 0 评论 -
Hadoop 集群批处理脚本
xcall.sh功能：在多台节点上执行相同的命令使用方法：xcall.sh 命令代码：#!/bin/bash#各节点执行命令 s101 - s104params=$@ #需要执行的命令host=101for (( host=101 ; host <= 104 ; host=$host+1 )) ;do echo ======== s$host ======...原创 2019-02-22 14:07:30 · 521 阅读 · 0 评论 -
Error: JAVA_HOME is incorrectly set. Please update xxx hadoop-env.cmd
在Windows上对产生的seqFile文件进行查看时，出现如下错误：产生原因：如图可知，是hadoop-env.cmd目录下的 JAVA_HOME 配置不正确。 修改如下：set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_73注意：因为我的Java安装在默认的目录下，C:\Program Files\Java\jdk1.8.0_73但...原创 2019-02-17 17:36:58 · 873 阅读 · 0 评论 -
Hadoop 机架感知理解 和 配置实现
什么是机架感知？机架感知简单的讲 就是告诉集群各个从节点所在的机架。方便集群更有效率的存储数据、利用资源。默认的副本存储策略：首选在本地机架的一个node存放副本,另一个副本在本地机架的另一个不同节点。最后一个副本在不同机架的不同节点上。 怎么告诉集群？Hadoop 并没有那么智能，知道各个从节点所在的机架。主要管理员手动的去配置。如果不配置，它会生成一个 defa...原创 2019-02-23 11:08:22 · 651 阅读 · 0 评论 -
Cannot lock storage /home/centos/hadoop/dfs/name. The directory is already locked
Hadoop在全分布模式转为 HA 模式时，执行：hdfs namenode -initializeSharedEdits抛出如下错误：Cannot lock storage /home/centos/hadoop/dfs/name. The directory is already locked产生原因：Hadoop服务还在运行状态，出现了类似于占有的情况。同理，如果是格式化 名...原创 2019-02-25 13:55:46 · 1301 阅读 · 0 评论 -
Hadoop 作业链条化实现
作业链条化编程[MAP+ / REDUCE MAP*]实现功能： 单词统计 需求： 1、过滤敏感词汇 2、过滤单词出现小于5的词汇 链条结构： MapMapper1（映射） + MapMapper2（过滤敏感词汇） + Reducer(聚合) + ReduceMapper1(过滤小于5的词汇) WCApp.classimport org...原创 2019-02-21 12:06:09 · 259 阅读 · 0 评论