积跬步，至千里；

hadoop-0.21.0 配置好1.core-site.xml 2.hdfs-site.xml 3.mapred-site.xml 格式化namenode 报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/server/namenode/NameNodeCaused by

Hive UDAF（User- Defined Aggregation Funcation）用户自定义聚合函数是一个很好的功能，集成了先进的数据处理。Hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用​​所有功能，但是UDAF就写的比较复杂，不直观。1、一下两个包是必须

有一张很大的表：TRLOG该表大概有2T左右TRLOG：CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimitedfields terminated by '\t';数据：PLATFORM USER_ID

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/St

1>impala-shell2.[Not connected]> connect hostIP:210003.[hostIP:21000]>refresh4.[hostIP:21000] >show databases

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在 MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据

异常1hadoop@ubuntu:~$ hadoop/bin/hadoop jar hadoop-0.20.2-examples.jarwordcount input01 output01Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-0.20.2-examples.jar

eclipse中连接不上hdfs，显示refuse connection。解决：a.取消hdfs的安全模式 hadoop dfsadmin -safemode leave            b. 在eclipse的hdfs 对话框“edit hadoop location” 的host 里不要填localhost，改为你namenode的机器名   不行的话再为你的IP地址  应 该就

运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧（至少我运行的时候是这样的）那我们来分析下这个错误，从字面上来理解：Name node is in safe m

hive> select * from dummy;FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))java.lang.RuntimeException: Error while m

一看到format就和磁盘格式化联想到一起，然后这个format是对hdfs来说的，所以有些人害怕真的是格式化自己的文件系统了，其实大可不必担心。 具体的实现format的功能是在  org.apache.hadoop.hdfs.server.namenode.FSImage  这个类的format(StorageDirectory sd)方法中，我们首先大概看下方法说明：

转载请注明出处： 【http://datasearch.ruc.edu.cn/~boliangfeng/blog】，谢谢。在hadoopor论坛里看到这样的问题，这里做个回答。我有一个疑问，在namenode的内存中记录了fsimsage信息，但是内存中的fsimage元数据是在namemode启动时去合并本地的editlog和fsimage得到的，这样的话就存在以

最近在一台旧linux服务器上部署hadoop+hive的测试环境。Hadoop版本:0.20.2Hive版本:0.6.0 问题一,Bash版本不对Hadoop使用假分布式启动，很容易的就跑起来了。但Hive却总是报如下的异常：#hive/opt/hive/bin/hive: /opt/hive/bin/ext/hiveserver.sh: line 19: con

hadoop datanode启动不起来转自：http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。 无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等

最近用hql 分析 用hive jdbc方式 add udf jar 在同一个hive服务上只能add一个jar 不然会造成冲突。