nodie的专栏

1、 hbase安装部署#cd /hadoop#wget http://apache.etoak.com//hbase/hbase-0.20.6/hbase-0.20.6.tar.gz#tar -zxvf hbase-0.20.6.tar.gz #ln -s hbase-0.20.6 hbase#mkdir hbase-config#cd /hadoop/hbase/conf/#cp...

单台服务器上学习Hadoop和Hive十分钟教程Hadoop是个很流行的分布式计算解决方案，Hive是基于hadoop的数据分析工具。一般的学习者不是太容易找到多台服务器来做集群学习hadoop，所以hadoop官方文档提供了在单台服务器上运行hadoop的指南（hive是基于hadoop的，它不关心有几台服务器，只要有hadoop就行了），来教大家怎样在一台硬件机器上模拟一个ha...

Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。它提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同 时，HiveQL语言能力不足时，它也能允许使用传统的map/reduce进行复杂数据分析。Hive是搭建在Hadoop平台之上的。Hive并不是一个真正的数据库，它的元数据需要存储在其他数据库中(例如mysql)。。Hadoop平台提 供了HDFS分布式存储系统和map...

udf编写入门大写转小写package com.afan;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class UDFLower extends UDF{    public Text evaluate(final Text s){        if (null == s){...

由于很多数据在hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是\,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下：  create table test(uid string,name string)row format delimited fields terminated by '\t'；通过这种方式，完成分隔符的指定。...

很多时候，我们在hive中执行select语句，希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中，hive提供了方便的关键词，来实现上面所述的功能。1.将select的结果放到一个的的表格中（首先要用create table创建新的表格） insert overwrite table test select uid,name from test2;2...

在上一讲<<云框架Hadoop之部署Hive>>上，我们谈到了hadoop的数据仓库hive.下面我们说明一下hive的简单查询应用。在hadoop环境下，shell下直接输入hive,就会出现hive shell操作界面。关于HIVE里的SQL，我习惯性的将HIVE的SQL语句叫做HQL，事实上HQL有很多和SQL类似的地方,还有一点要说明的是HQL数据存储位置是在Had...

整个Hadoop家族由以下几个子项目组成：成员名用途Hadoop CommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。AvroAvro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro...

Hadoop计算平台和Hadoop数据仓库的区别http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93Hive 随谈（三）– Hive 和数据库的异同http://www.tbdata.org/archives/551Hadoop Ecosystem解决方案---数据仓库htt...

由于是一个项目的一部分，去掉了项目名称，和大家一起交流， msn: sdtvATmsn.com 转载标明 :www.bagbaby.cn   http://hi.baidu.com/dd_shop 背景需求和现状目前的日志系统还称不上系统，只是在几台服务器上存着所有的日志，依靠NFS共享数据，并运算，带来的问题诸多：a) 数据存放凌乱，缺乏系统的目录管理；b) 存储空间有限，并且扩...

原文地址：http://www.oschina.net/question/12_7936 摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/apache-hbase-shell-and-install-key-value.html HBase是什么？ HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/apache-hbase-shell-and-java-api-html.html      本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HB...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/hbase-performance-hbase-optimized.html 前两篇文件分别说到了我在学习HBase中的一些入门经验，而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧，只能作为...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/apache-hbase-hadoop.html 前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧，《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程...

一个使用HBase的例子，如下。import java.io.IOException;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop.hbase.client.Scanner;import org.apache.hadoop.hbase.io.BatchUpdate;import org.apach...

一、安装准备1、下载hadoop 0.20.2，地址：http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/2、JDK版本：jdk-6u20-linux-i586.bin （必须是1.6）3、操作系统：Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 200...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/apache-hive-jdbc-mapreduce.html    Hive是Hadoop项目中的一个子项目，由FaceBook向Apache基金会贡献，其中TaoBao也是其中一位使用者+贡献者，Hive被视为一个仓...

我的偏见:  对于互联网公司来说提炼挖掘生产中用户产生的大量日志是个有价值的工作，在这些看似垃圾东西中蕴含着大量的商业机会和用户的需求，如果可以简单的实现当然皆大欢喜，但是面对庞大的输出日志需要去提炼的时候只好束手无则无视他的存在，就拿我们最熟悉的Log4J来说，如果是上TB的海量文本类型输出的格式根本无法查询，更谈不上数据挖掘。   当然我们也知道存放在数据库里面当然是不错的选择，对抗海量的...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/apache-hadoop-hive-hbase-integration.html 开场白：Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-ha...

作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.javabloger.com/article/hbase-mysql-rdbms.html 我的废话1:   任何一项新技术并非救命稻草，一抹一擦立马药到病除的百宝箱，并非使用Spring或者NOSQL的产品就神乎其神+五光十色，如果那样基本是扯淡。同类 型产品中不...

原文地址：http://www.jiacheo.org/blog/126 一、概述hive是一个基于hadoop的数据仓库基础设施, 提供数据的提取转换加载和查询, 不适于少数据量(比如几亿)的数据查询, 也不适于实时或者在线数据的查询, 是一个非实时的, 离线的数据查询工具. hive没有自己的文件格式, 只需要普通的文件格式或者用户自定义的格式就可以了.二、环境搭建hi...

Hive 的启动方式            hive  命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli            hive  web界面的启动方式，hive –service hwi              hive  远程服务 (端口号10000) 启动方式，nohup hive –service hiveserver  &...

版权声明：转载时请以超链接形式标明文章原始出处和作者信息及本声明http://luobeng.blogbus.com/logs/104394168.htmlhttp://ilovejavaforever.javaeye.com/blog/760731    引言： 原本打算把所有hive相关的sql语法，全部写下来，但是写着写着，发现自己仅仅是在翻译hive的wiki，没有什么有价...

原文地址：http://database.e800.com.cn/articles/2008/320/1205953658379954753_1.html HBase是Hadoop中的一个简单数据库。它与Google的Bigtable特别相似，但也存在许多的不同之处。数据模型HBase数据库使用了和Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括...

原文地址：http://www.searchtb.com/2011/01/understanding-hbase.html  HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似...

1 $GLOBALS['THRIFT_ROOT'] = '/home/thrift'; 2 require_once $GLOBALS['THRIFT_ROOT'].'/Thrift.php'; 3 require_once $GLOBALS['THRIFT_ROOT'].'/protocol/TBinaryProtocol.php'; 4 require_once $GLOBALS['TH...

原文地址：http://blog.sina.com.cn/s/blog_5dce657a0100f0ou.html

原文地址：http://blog.kfchph.com/20-hbase-thrift-050-php5/系統環境與套件版本作業系統環境： Ubuntu 9.04 Server x2Hadoop 0.20.2 Fully-distributed modesHBase 0.89.20100621 Fully-distributed modesThrift 0.5.0...

原文地址：http://www.coder4.com/archives/1188 Thrift是一个开源的RPC框架，由知名SNS社区FaceBook贡献。下面记录了在Ubuntu 10.04下编译安装Thrift的全过程。1、编译安装依赖安装Java（除非你不想RPC使用Java）?#相关代码, [四号程序员] http://www.coder4.com...

http://www.buywine168.com/index.php?option=com_idoblog&task=viewpost&id=60&Itemid=6 http://blog.sina.com.cn/s/blog_5dce657a0100f0ou.html http://blog.johnsonlu.org/?p=436

hadoop 0.20 程式開發http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617零. 前言 ¶開發hadoop 需要用到許多的物件導向語法，包括繼承關係、介面類別，而且需要匯入正確的classpath，否則寫hadoop程式只是打字練習...用類 vim 來處理這種複雜的程式，有可能會變成一場惡夢，因此用eclipse開發，...

<br />数据<br />[@zw-hadoop-master hadoop]$ hadoop fs -cat /tmp/text.txt<br />1    9<br />2    8<br />3    7<br />4    6<br />5    5<br />6    4<br />7    3<br />8    2<br />9    1<br />0    0<br />9    9<br />8    8<br />7    7<br />6    6<br />5    5<br />

<br />package com.demo.hdfs;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStre

<br />原文地址：http://bbs.chinaunix.net/thread-1650880-1-1.html<br /> <br /> <br /> <br />用一个并行计算任务显然是无法同时完成单词词频统计和排序的，这时我们可以利用 Hadoop<br />的任务管道能力，用上一个任务(词频统计)的输出做为下一个任务(排序)的输入，顺序执行两个并行计算任务。主要工作是修改代码清单3中的 run<br />函数，在其中定义一个排序任务并运行之。<br />            <br />在

<br /><br />CYD同学的Hadoop使用心得和大家分享下<br />使用hadoop的map/reduce进行分布式运算已经有一段时间了，谈下自己的心得，纯粹是自己的感受，欢迎拍砖。<br />首先是部署，在linux下的部署非常简单，随便在网上找个攻略就能搞定。关键是如何配置一个调试环境。在实验室，我是用ubuntu，直接在图形界面下用eclipse，非常方便。考虑到很多时候，linux没有图形界面，比如淘宝这种在windows下用xshell登陆开发机的情况，有必要在windows下模拟一个

<br /> <br />http://yjhexy.javaeye.com/blog/561720<br />可以通过FileSystem类的静态get方法来获取HDFS文件系统的实例,FileSystem的实例实现了很多对于文件操作的函数,如上次介绍的open方法,当然,FileSystem也实现了文件写入操作的函数了.我们可以通过调用create方法来在hdfs文件系统中建立一个文件,create方法返回一个FSDataOutputStream的实例,FSDataOutputStream是继承自jav

<br /><br />Hadoop读写Hdfs系统文件<br />第一，在程序添加相关引用。<br />import org.apache.hadoop.fs.FSDataInputStream;<br />import org.apache.hadoop.fs.FSDataOutputStream;<br />import org.apache.hadoop.fs.FileStatus;<br />import org.apache.hadoop.fs.FileSystem;<br />import o

<br />public class ReadDFS { public static void main(String[] args) { Configuration conf = new Configuration(); try{ FileSystem hdfs = FileSystem.get(conf); Path inPath = new Path("/user/nodie/my22"); // FSDataInputStream d

<br />DFSOperater.java<br /> <br />import org.apache.hadoop.conf.*;import org.apache.hadoop.fs.*;import org.apache.hadoop.hdfs.*;import org.apache.hadoop.hdfs.protocol.*;import java.util.Date;public class DFSOperater { /** * @param args *