<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[IQuicksandI的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/IQuicksandI</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; IQuicksandI]]></copyright><item><title><![CDATA[Hbase shell 常用命令]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8762989</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8762989</guid><author>IQuicksandI</author><pubDate>Fri, 05 Apr 2013 23:34:52 +0800</pubDate><description><![CDATA[下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：





名称


命令表达式




创建表


create '表名称', '列名称1','列名称2','列名称N'




添加记录      


put '表名称', '行名称', '列名称:', '值'




查看记录]]></description><category></category></item><item><title><![CDATA[hbase安装配置（整合到hadoop）]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8762944</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8762944</guid><author>IQuicksandI</author><pubDate>Fri, 05 Apr 2013 23:19:40 +0800</pubDate><description><![CDATA[hbase安装配置（整合到hadoop）  Huangguisu
1.快速单机安装：
在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。
1.1下载解压最新版本
选择一个 Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载 HBase R]]></description><category></category></item><item><title><![CDATA[HBase shell 简单使用]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8762911</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8762911</guid><author>IQuicksandI</author><pubDate>Fri, 05 Apr 2013 23:07:18 +0800</pubDate><description><![CDATA[HBase提供了丰富的访问接口。
　　• HBase Shell
　　• Java clietn API
　　• Jython、Groovy DSL、Scala
　　• REST
　　• Thrift（Ruby、Python、Perl、C++…）
　　• MapReduce
　　• Hive/Pig
其中HBase Shell是常用的便捷方式
首先你需要一个HBase的环境，如果]]></description><category></category></item><item><title><![CDATA[替换SQL字段中的换行符，回车符]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8736111</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8736111</guid><author>IQuicksandI</author><pubDate>Fri, 29 Mar 2013 13:02:19 +0800</pubDate><description><![CDATA[替换SQL字段中的换行符，回车符：
在富文本内容中通常会出现回车、换行内容。在sql数据库中这些回车、换行符，输出html后，表现为空格。
这里是在数据导出、导入中发现的，通常把回车、换行符找出来，用替换。
 
这里使用了，sql 函数。replace(string_expression , string_pattern , string_replacement),第一个参数：要查找的字段]]></description><category></category></item><item><title><![CDATA[KETTLE Configuring for Cloudera]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8633771</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8633771</guid><author>IQuicksandI</author><pubDate>Mon, 04 Mar 2013 15:10:03 +0800</pubDate><description><![CDATA[To communicate with Cloudera, you must change which version of Hadoop to use when communicating with a Hadoop cluster.

Within the file 
plugins/pentaho-big-data-plugin/plugin.properties, update th]]></description><category></category></item><item><title><![CDATA[JAVA 对象序列化]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8577795</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8577795</guid><author>IQuicksandI</author><pubDate>Sun, 10 Feb 2013 00:18:46 +0800</pubDate><description><![CDATA[对象序列化：就是将一个对象转换为二进制的数据流，如果一个类的对象要想实现对象序列化，则对象所在的类必须实现Serializable接口。在此接口中没有任何的方法，此接口只是作为 一个标识，表示本类的对象具备了序列化的能力而已。
如果要想完成对象的序列化，则还要依靠ObjectOutputStream 类和 ObjectInputStream类，前者属于序列化操作，而后者属于反序列化操作]]></description><category></category></item><item><title><![CDATA[JAVA 字符编码]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8577766</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8577766</guid><author>IQuicksandI</author><pubDate>Sat, 09 Feb 2013 22:51:47 +0800</pubDate><description><![CDATA[在程序中如果字符编码没有处理完整，则肯定会造成乱码，常见的编码有以下几种：
UTF：包含了以下的编码
ISO 8859-1：是包含全部的英文编码
GBK/GBK2312：表示中文，GBK 表示简体中文和繁体中文、GB2312只表示简体中文
如果程序中操作的编码与本地的环境编码不统一，那么操作的时候就有可能出现乱码。


package org.encodedemo;

public]]></description><category></category></item><item><title><![CDATA[JAVA Scanner 类]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8577761</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8577761</guid><author>IQuicksandI</author><pubDate>Sat, 09 Feb 2013 22:39:31 +0800</pubDate><description><![CDATA[Scanner 是一个新的操作类，是在java.util 包中提供的一个操作类，使用此类可以方便的完成输入流的输入操作：


package org.scannerdemo;

import java.util.Scanner;

public class ScannerDemo01 {

	/**
	 * @param args
	 */
	@SuppressWarnings("resou]]></description><category></category></item><item><title><![CDATA[Hadoop Hive与Hbase整合]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8572708</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8572708</guid><author>IQuicksandI</author><pubDate>Tue, 05 Feb 2013 21:00:44 +0800</pubDate><description><![CDATA[用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库


1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.youkuaiyun.com/kunshan_shenbin/article/details/7105319

2. HBase]]></description><category></category></item><item><title><![CDATA[HADOOP JAVA接口]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8566886</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8566886</guid><author>IQuicksandI</author><pubDate>Sun, 03 Feb 2013 14:31:26 +0800</pubDate><description><![CDATA[从Hadoop URL 中读取数据



package org.urlcat;


import java.io.InputStream;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

public cla]]></description><category></category></item><item><title><![CDATA[HIVE 通过 MYSQL 保存元数据]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8566789</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8566789</guid><author>IQuicksandI</author><pubDate>Sun, 03 Feb 2013 13:14:27 +0800</pubDate><description><![CDATA[1.安装hadoop（1.0以上）
 2.安装hive安装（0.9.0以上版本）
 4.当然你还得安装jdk
 4. mysql，同时准备个可访问的账号，这里采用root，最好配上远程访问权限。
 修改hive下的conf文件夹中将 hive-default.xml.template 复制并改名成 hive-site.xml
这里是我的文件

           hive.metas]]></description><category></category></item><item><title><![CDATA[Linux下chkconfig命令详解]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8566269</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8566269</guid><author>IQuicksandI</author><pubDate>Sun, 03 Feb 2013 00:07:05 +0800</pubDate><description><![CDATA[chkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。
使用语法：
chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level ][系统服务][on/off/reset]
chkconfig在没有参数运行时，显示用法。如果加上服务]]></description><category></category></item><item><title><![CDATA[HIVE JDBC]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8558105</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8558105</guid><author>IQuicksandI</author><pubDate>Thu, 31 Jan 2013 00:03:36 +0800</pubDate><description><![CDATA[一、Eclipse 导入 JAR包


HIVE/LIB/*
HADOOP/LIB/hadoop-core-1.1.1.jar







二、启运HiveServer


hive --service hiveserver 10000 &

三、连接JAVA 测试代码


package org.hivequery;

 
import java.sql]]></description><category></category></item><item><title><![CDATA[JAVA JDBC]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8545066</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8545066</guid><author>IQuicksandI</author><pubDate>Sat, 26 Jan 2013 18:23:28 +0800</pubDate><description><![CDATA[JDBC, Java Database Connecive, Java 数据库连接，是一组专门负责连接并操作数据库的标准，在整个JDBC 中实际上大量的提供的是接口。针对于各个不同的数据库生产商 ，只要想使用JAVA 进行数据库的开发，则对这些标准有所支持。
JDBC 在使用中常见的有以下三类：
JDBC-ODBC 桥连接：是SUN 在JDK的开发包中提供的最标准的一套JDBC 操作类库，使用]]></description><category></category></item><item><title><![CDATA[HIVE Row_Sequence 实现列自增长]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8543804</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8543804</guid><author>IQuicksandI</author><pubDate>Sat, 26 Jan 2013 00:53:16 +0800</pubDate><description><![CDATA[package org.rowsequence;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.udf.UDFType;
import org.apache.hadoop.io.LongWr]]></description><category></category></item><item><title><![CDATA[hive中使用自定义函数(UDF)实现分析函数row_number的功能]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8543788</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8543788</guid><author>IQuicksandI</author><pubDate>Sat, 26 Jan 2013 00:30:27 +0800</pubDate><description><![CDATA[之前部门实现row_number是使用的transform，我觉得用UDF实现后，平时的使用会更方便，免去了transform相对繁琐的语法。
   用到的测试表为：
hive> desc row_number_test;
OK
id1    int
id2    string
age    int
score   double
name   string
 
hive> se]]></description><category></category></item><item><title><![CDATA[HIVE 通过正则匹配 字段分列]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8543052</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8543052</guid><author>IQuicksandI</author><pubDate>Fri, 25 Jan 2013 17:36:31 +0800</pubDate><description><![CDATA[通过 SerDe(serialize/deserialize) ，在数据序列化和反序列化时格式化数据。
这种方式稍微复杂一点，对数据的控制能力也要弱一些，它使用正则表达式来匹配和处理数据，性能也会有所影响。但它的优点是可以自定义表属性信息 SERDEPROPERTIES ，在 SerDe 中通过这些属性信息可以有更多的定制行为。



原数据类型：


"abc"@_@123@_@]]></description><category></category></item><item><title><![CDATA[HIVE 自定义函数 UDF]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8539911</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8539911</guid><author>IQuicksandI</author><pubDate>Thu, 24 Jan 2013 21:54:46 +0800</pubDate><description><![CDATA[Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。
一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：
a）文件格式：Text File，Sequence File
b）内存中的数据格式： Java Integer/St]]></description><category></category></item><item><title><![CDATA[HIVE 命令行]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8536011</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8536011</guid><author>IQuicksandI</author><pubDate>Wed, 23 Jan 2013 22:11:13 +0800</pubDate><description><![CDATA[执行一个查询

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

之后过程中，会在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，接着hive进程退出，不会进入交互模式。
 
使用静音模式执行一个查询

$HIVE_HOME/bin/hive -S -e 'select a.col from tab1]]></description><category></category></item><item><title><![CDATA[HIVE 动态分区与静态分区]]></title><link>https://blog.youkuaiyun.com/IQuicksandI/article/details/8535956</link><guid>https://blog.youkuaiyun.com/IQuicksandI/article/details/8535956</guid><author>IQuicksandI</author><pubDate>Wed, 23 Jan 2013 21:55:22 +0800</pubDate><description><![CDATA[HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。

HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区，比如商品]]></description><category></category></item></channel></rss>