wzcwmhp的博客

伪分布式的环境搭建1.软件的准备1）linux版本：CentOS-6.4-i386-bin-DVD1.iso 2）hadoop版本：hadoop-2.4.1.tar.gz 3）jdk版本：jdk-7u65-linux-i586.tar.gz 4）mysql版本： MySQL-server-5.1.73-1.glibc23.i386.rpm MySQL-client-5.1.73-1.gl

需要导入hbase安装包或源代码中lib下的所有包package cn.zhichao.wan.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop

进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表，包含info、data两个列族 create ‘user’, ‘info1’, ‘data1’ create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsa

进入hive shell hive或者hive –service cli Hive 的启动方式: hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli hive web界面的启动方式，hive –service hwi hive 远程服务 (端口号10000) 启动方式，hive –service hiveserver

1.上传hbase安装包 hbase-0.96.2-hadoop2-bin.tar.gz 2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了，weekend05,06,07是zk集群） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/u

Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs-5.1.66-2.el6_3.i686 –nodeps

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好的6

1.以3台为例，首先准备3台可以相互ping通的linux主机，并且他们之间已经配好了ssh协议。 具体操作如下： (1):sudo vi /etc/hosts 将其他主机的ip加入台服务器的hosts文件中(2):将本地的hosts文件远程拷贝到其他主机上。 sudo scp /etc/hosts Centos01 sudo scp /etc/hosts Centos02 这样主机

问题： 1.直接修改： sudo vi /etc/sysconfig/network-script/ifcfg-eth0 删掉UUID HWADDR 配置新的静态ip地址 2.然后： sudo rm -rf 　/etc/udev/rules.d/70-persistent-net.rules3.然后 reboot4.重启后的结果为：

1.对流量原始日志进行流量统计，将不同省份的用户统计结果输出到不同文件2.需要自定义改造两个机制： **1、改造分区的逻辑，自定义一个partitioner **2、自定义reduer task的并发任务数3.代码如下：public class FlowSortMR { public static class FlowSumAreaMapper extends Mapper<LongWri

1.上篇文章讲到mapreduce实现简单的流量统计，但最后的结果是按手机号的字典顺序进行输出的，如果我们需要实现按总流量的大小进行排序输出，怎么办？2.我们可以用上篇的结果文件作为mapreduce的输入，从新写一个mapreduce程序。3.map输出为FlowBean作为key，输出为null，而FlowBean我们实现WritableComparable接口，自定义它的排序规则，那么map输

1.数据格式如下：1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4

1.本地运行wordcount时，出现java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.错误 2.原因是本地hadoop安装目录中缺少winutils文件及本地lib文件，普通安装hadoop目录中的bin和lib->native目录如下： 3.这时候

1.首先建一个WCMapper 类：package com.zhichao.wan.mr.wordcount1;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text

1.首先在服务器中，我的是在centos01主机中写服务端程序，并用hadoop中自带的PRC工具包实现简单的RPC服务端服务程序: 注意：必须导入hadoop中的common中的核心包和依赖的lib中的jar包。2.建一个名为LoginServerInterFace接口，有login(String name,String password)抽象方法。代码如下：package com.zhicha

1.导入jar包： 包括:hdfs下的核心包和它依赖的lib包，以及commons的核心包和lib包2.将core.site问价放在src目录下。3.代码如下： package com.zhichao.wan.hdfs;import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcepti

1、安装一个zookeeper集群2、上传storm的安装包，解压 apache-storm-0.9.2-incubating.tar.gz3、修改配置文件storm.yaml所使用的zookeeper集群主机 storm.zookeeper.servers: - “weekend05” - “weekend06” - “weekend07”nimbus所在的