yaoyaostep的专栏

简单的创建表create table table_name ( id int, dtDontQuery string, name string)  创建有分区的表create table table_name ( id int, dtD

hadoop中联结不同来源数据有时可能需要对来自不同源的数据进行综合分析：如下例子：有Customers文件，每个记录3个域：Custom ID,    Name,     Phone Number                                        Customers  Orders 1,Stephanie Leung,555-555

一 MapReduce概述    Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programmingmodel），是一个用于处理和生成大规模数据集（processing and generating large dat

本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1：当前HDFS架构详尽分析HDFS架构 •NameNode •DataNode •Sencondary NameNode数据存储细节NameNode 目录结构Namenode 的目录结构：${ dfs.name.dir

第一部分：概念 概念•用户接口：用户访问Hive的入口•元数据：Hive的用户信息与表的MetaData•解释器：分析翻译HQL的组件•编译器：编译HQL的组件•优化器：优化HQL的组件第二部分：Hive架构与基本组成架构图基本组成•用户接口，包括 CLI，JDBC/ODBC

hive迁移hadoop namenode时遇到的问题Posted on2011-06-14 by 54chen 使用了一段时间的hive和hadoop，在迁移datanode时很容易，要迁移namenode，hive里就闹情绪了。更改namenode后，在hive中运行select 依旧指向之前的namenode地址。要如何解决呢，具体操作如下：1.复制打

Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。请看一个例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.hive.serde2.io.DoubleWritable; public class UDA

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/St

安装环境:    机器 只需要安装一台机器操作系统:Ubuntu 11.04 64操作系统hadoop:版本是1.0.2,安装在/usr/local/hadoopsun jdk:版本是1.6.0_31 64bit,安装在/usr/local/jdkhive:版本是0.8.1,安装在/usr/local/hive安装步骤:1.下载下载hive:http://labs.

hive元数据中utf8的修改表或者字段有中文的时候需要修改hive的元数据库的设置。以mysql为例子，当mysql的字符集设置成utf8的时候使用hive会有问题，详细见hive的wiki。所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1。为了保存那些utf8的中文，要将mysql中存储注释的那几个字段的字符集单独修改为utf8。修改

处理流程建表那么我们首先要在hive里建表，建表语句如下:CREATE TABLE login ( uid STRING, ip STRING)PARTITIONED BY (dt STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE; 其实

当$HIVE_HOME/bin/hive执行时，没有-e或者-f选项，会进入交互式shell模式。命令描述quitexit退出交互式shellreset重置配置为默认值set =修改特定变量的值注意: 如果变量名拼写错误，不会报错set输出用户覆盖的hive配置变量set -v输出所有Had

由于hive是一个数据仓库。是一个基于日志的分析和统计。底层的数据应该是稳定的，与oracle不同的是，数据不是经常变化的。但是在日常的业务中经常有修改数据的需求。有的数据是经常变化的。需要维护一个经常变化的表。我通过一些项目，总结了一下几个方法：1 如果数据量不大，可以尝试周期的覆盖原始数据的方法。根据需求，对数据进行周期的更新，再导入的时候对数据进行覆盖操作。2 对数据库的数据或者日志

hive.exec.parallel参数hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql:select r1.afrom (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join