pdw2009的专栏

一直用Win7最近需要学习Hadoop相关框架，在windows下安装了hadoop,hbase.hive 等工具，请浏览我blog吧.Hive版本：2.1.1Hadoop 版本:2.5.2元数据存储在mysql，版本：5.6.23hive的hive-site.xml内容如下：<configuration> <!-- WARNING!!! This file is provi...

十二、Hive整合HBase，操作HBase表HBase是被设计用来做k-v查询的，但有时候，也会遇到基于HBase表的复杂统计，写MR很不方便。Hive考虑到了这点，提供了操作HBase表的接口。关于Hive操作HBase表的原理，请参考我之前的博文：         http://lxw1234.com/archives/2015/04/101.htm值得商榷的是，使用Hive操作HBase中...

在ide工具里我们喜欢用maven解决依赖的问题，但 java hbase连接本机hbase服务，只能在项目中引入hbase\lib，我原来用maven的依赖，是各种报错。顺手漂了个简单例子package com.peidw.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.List;...

官方Hello入门例子{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "colu

hadoop 等cdh版本maven构建说明

原来起hiveserver2 报：org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.原因在于hiveserver2 tcp服务端口默认是使用10000，服务默认使用的端口：hive.server2.transport.mode...

配置无法详细列了，记得一下配置hbase  做了以下改动hbase-env.cmd最后加上：set HBASE_MANAGES_ZK=falsehbase-site.xml内容改成如下：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--/** ...

首先hbase-site.xml设置好 hbase使用的zk端口<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--/** * * Licensed to the Apache Software Foundation (ASF) under o...

package com.peidw;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.io.*;import java.io.IOException;import java.net.URI;/** * mapfil...

StringPair.avsc 模型{ "type":"record", "name":"StringPair", "doc":"a pair of strings.", "fields":[ {"name":"left","type":"string&

预备条件： 1. 已安装JDKAdd Hadoop Group and User$ sudo addgroup hadoop $ sudo adduser --ingroup hadoop hduser $ sudo adduser hduser sudo切换到hduser账户下操作SSH-server 安装$ sud

（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd zookeeper创建一个新的用户，并加入group,$ sudo useradd -g zookeeper zookeeper给新用户设

所谓 “伪分布式集群” 就是在，在一台PC中，启动多个ZooKeeper的实例。“完全分布式集群” 是每台PC，启动一个ZooKeeper实例。由于我的测试环境PC数量有限，所以在一台PC中，启动3个ZooKeeper的实例。创建环境目录~ mkdir /home/conan/zoo/zk1~ mkdir /home/conan/zoo/zk2~ mkdir /home/

1、搭建环境  新建JAVA项目，添加的包有:   有关Hadoop的hadoop-core-0.20.204.0.jar   有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 Java代码  package com.wujintao.hbas

zookeeper 是独立的没有给hbase托管。1、先启动zookeeper bash ./bin/zkServer.sh  start zk1.cfgbash ./bin/zkServer.sh  start zk2.cfgbash ./bin/zkServer.sh  start zk3.cfg然后检 查一下2、启动hapood bash ./

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据 库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。但是它并不提供冗余（例如，复制其hashma

HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。基础环境安装配置[一]、环境说明JDK1.6+Hadoop 2.2.0Mac OS 10.9.2[二]、安装配置

hadoop

进入hbase shell命令./hbase shell1、status 查看hbase运行状态2、version查看hbase版本3、list列出hbase所有的 表4、创建表create 'info_member','member_id','address','info'5、查看表结构describe 'info_member'6、表添加列alter 'info_member','sex'7、...

以下描述了centos linux(2.6.32-279.el6.x86_64)位机器下,安装32位hadoop 2.3,并通过运行系统自带的 WordCount 例子来验证服务正确性的步骤。建立目录/usr/local/hadoop2.3,以后这个是 hadoop 的安装目录。java 系统安装(32位版本,jdk-7u51-linux-i586.tar.gz)htt