曾经是个DBA

场景：错误java.lang.IllegalArgumentException:Wrong FS: hdfs:/, expected: file:///异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:/// 在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示

jps时出现如下信息：4791 -- process information unavailable解决办法：进入tmp目录，cd /tmp删除该目录下名称为hsperfdata_{username}的文件夹然后jps,清净了。

一、Cloudera Manager/CDH51．关于cloudera manager和CDH是什么，这里不做详细介绍了。2．官网的安装指南官方文档提供了三种安装方式：  在线自动安装/手动安装包安装/手动使用cloudera manager管理安装  此处使用第三种方式安装hadoop集群。 二、环境规划1．系统：CentOS 6.4_x86 master：4

我们在配置flume hdfs sink 的时候注意这两个配置项，比如：collector1.sinks.sink_hdfs.hdfs.rollSize = 2048000000 collector1.sinks.sink_hdfs.hdfs.rollCount = 0 collector1.sinks.sink_hdfs.hdfs.rollInterval = 21600coll

解决方案如下：配置文件中添加如下内容a1.sinks.k1.hdfs.useLocalTimeStamp = true

参数hdfs.fileType    默认值SequenceFile    参数描述File format: currently SequenceFile, DataStream or CompressedStream(1)DataStream will not compress output file and please don’t

package cn.hadoop.mr.flowsum;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.ma

一、解压flume到/hadoop/目录下tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /hadoop/二、配置flume配置文件[hadoop@hadoop01 flume]$ cat conf/agent1.conf# Name the components on this agentagent1.sources = spo

-bash-4.1$ hadoop fs -rm -r .Trash

scala代码如下：import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._/** * 统计字符出现次数 */object WordCount { def main(args: Array[String]) {

在daemon Node执行该命令，Namenode不行。

Impala 与 Hive 之间互为前后台 有时候你会发现，切换到 Hive 执行下数据加载或转换操作比较方便，特别是处理如 RCFile, SequenceFile, 和 Avro 等这些 Impala 暂时只支持查询不支持写入的数据文件格式无论你在 Hive 中 create, drop, 或 alter 了一个表或其他对象，当切换回 impala-shell 时，立即执行一个 I

Python的名字为：cdh_auto_configuration.py，完整内容如下：#!/usr/bin/env pythonimport optparsefrom pprint import pprintimport loggingimport sysimport mathimport ast''' Reserved for OS + DN + NM, Map:

[bd103:21000] > set live_progress=true;LIVE_PROGRESS set to true

Sqoop

cloudera hadoop 配置 文件 位置

系统环境：Hadoop 2.6.0Hive 1.1.1JDK 1.7.0_60操作系统：CentOS 6.4报错信息：在Hive中执行创建表,导入数据,不带where语句的查询都没有问题。但是带where语句时报错, 如下：hive (timezipper)> SELECT orderid,createtime,modifiedtime,status

用fs.copyToLocalFile( hdfsPath,localPath);下载hdfs的文件会报NullPointerException,具体报错为:java.lang.NullPointerException at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) at org.apache.ha

[hadoop@hadoop01 ~]$ hadoop jar mr.jar cn.hadoop.mr.WCRunner16/07/24 16:52:08 INFO client.RMProxy: Connecting to ResourceManager at hadoop01/192.168.56.200:803216/07/24 16:52:09 WARN mapreduce.JobSu

map:package cn.hadoop.mr;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoo

想要在windows上以本地模式运行hadoop就必须要在windows上配置好hadoop的本地运行环境。我们需要下载编译好的hadoop二进制包。下载地址如下：链接：http://pan.baidu.com/s/1skE4fQt 密码：or48下载完成后配置windows环境变量：HADOOP_HOME=C:\Program Files (x86)\hadoop-2.6.0

hadoop dfsadmin -safemode leave

报错put: File /*.sql._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.该问题原因为命名结点无法访问数

java.io.IOException: There appears to be a gap in the edit log.  We expected txid 1, but got txid 16.namenode进程中出现如下报错信息原因：namenode元数据被破坏，需要修复解决：恢复一下namenodehadoop namenode -recover一路选择c

查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:500752014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.Data

hdfs fsck /先用该命令检测存在哪些坏块  ********************************  CORRUPT FILES:    28  MISSING BLOCKS:    28  MISSING SIZE:        1078476 B  CORRUPT BLOCKS:     28  ***********************

环境CentOS6.4 CDH5.2安装完成后发生如下问题[hdfs@hadoop01 ~]$ hadoop fs -ls /Found 25 items-rw-r--r-- 1 root root 0 2016-08-17 10:47 /.autofsckdr-xr-xr-x - root root 4096 2016-

mapPython函数式编程之map使用（一个seq）# 使用mapprint map( lambda x: x%3, range(6) ) # [0, 1, 2, 0, 1, 2] #使用列表解析print [x%3 for x in range(6)] # [0, 1, 2, 0, 1, 2]Python函数式编程之map使用（多个seq）print m

解决方案：可以备份并且移除 $HADOOP_HOME/share/hadoop/yarn/lib/ 下的jline-0.9.94.jar文件，它与beeline的依赖产生冲突。

Hadoop真·高可用集群模式环境搭建 目录一、 安装centos6.4 x86_64虚拟机7台； 11． 修改Linux主机名 12． 修改IP 13． 修改主机名和IP的映射关系 14． 关闭

在hdfs-site.xml配置文件里加上如下内容：dfs.blocksize2048dfs.namenode.fs-limits.min-block-size2048然后重启hadoop集群，新上传的文件就以2MB的块大小存储了