big_data_study的博客

1.hbase集群增加节点 假设新增节点ip为：192.168.1.10，slave2 1.修改/etc/hosts文件，在所有节点(除新加节点)上运行如下命令以追加新机器名与ip绑定到host文件 然后将hosts文件复制到slave2 echo ‘192.168.1.10’ slave2 >> /etc/hosts 2.修改…/hadoop-2.6.5/etc/hadoop/sla...

1.目标：实现将hdfs中的数据写入到hbase表中 //数据样式 1001 apple red 1002 pear yellow 1003 pineapple yellow 1.创建fruit.tsv,导入数据，上传到hdfs / 下 2.hbase 中 创建 fruit2 表 3.把下面自定义 mr2打包 上传到集群中 // 例如： /opt 下 4.运行命令： /opt/hadoop/bi...

1.目标：将fruit表中的一部分数据，通过mr迁入到fruit1表中 从hbase读数据，经过mr，最终写入hbase中 //数据样式 1001 apple red 1002 pear yellow 1003 pineapple yellow /opt/hadoop/bin/yarn jar /opt/hbase/lib/hbase-server-1.4.3.jar importtsv -Dim...

1.创建hbase用户 useradd hbase passwd hbase Retype new passwd 2.添加java_home环境变量到hbase用户 vi ~/.bashrc export JAVA_HOME=/opt/jdk-12.0.2 export PATH=$PATH:JAVA_HOME/bin 3.添加hbase_home环境变量到hbase用户中 vi ~/.bashr...

1.查看hbase的mr任务的执行 bin/hbase mapredcp 2.环境 永久生效,在/etc/profile vi /etc/profile export HBASE_HOME=/opt/hbase export HADOOP_HOME=/opt/hadoop 并在hadoop-env.sh中配置(for循环后面配) vi hadoop-env.sh export HADOOP_CLA...

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration...

1.删除表，列，列族时，严格按照时间戳来执行 当 时间戳<删除时的时间戳 时，小于的时间戳的所有版本都被删除 2.主键：rowkey 访问hbase table中的行，只有三种方式 1)通过单个rowkey访问 2)通过rowkey的rang(正则) 3)全表扫描 rowkey可以是任意字符串，最大长度为64kb，rowkey保存为字节数组，存储时数据按照rowkey的字典顺序排序 3.列族...

1.进入hbase bin/hbase shell 2.启动hbase bin/start-hbase.sh 3.关闭hbase bin/stop-hbase.sh 4.如果在关闭hbase时，出现…一直等待情况，直接jps,kill kill -9 5578 //假设5578为hbase端口号 5.进入zookeeper查看是否还有hbase进程 bin/zkCli.sh ls / 6....

1.创建列族中有version的表 create ‘user’ , {name=>‘info’ , versions=>10} 2.测试version的作用 put ‘user’ , ‘row1’ , ‘info:name’ , ‘x’ put ‘user’ , ‘row1’ , ‘info:name’ , ‘x1’ put ‘user’ , ‘row1’ , ‘info:name’ ...

1.删除info列族，建表后 alter ‘table’ , ‘delete’ => ‘info’ 2.增加info列族，建表后 alter ‘table’ , ‘name’ => ‘info’ 3.添加数据 put ‘user’ , ‘row1’ , ‘info:name’ , ‘san’ put ‘user’ , ‘row2’ , ‘info:age’ , ‘20’ put ‘us...

1.获取用户对商品1001的行为 scan ‘s_behavie’ , filter => “ValueFilter(=,‘binary:1001’)” row column+cell 12_1 column=pc:v,timestamp=1234,value=1001 12_1 column=ph:o,timestamp=1235,value=1001 //注意：ValueFilter会匹...

1.创建表 create ‘table_name’ ,{name=>‘pc’},{name=>‘ph’} 该表名为：table_name，用来存储用户的行为数据，这个表有两个列族，列族pc用来存储用户pc端的用 户行为数据，列族ph用来存储用户的手机端的用户的行为数据。 2.查看所有表 list 会列出hbase数据库中所有已经创建的表 3.查看建表 describe ‘table_n...

1.高可用，hbase支持对Hmaster的高可用配置，下面都是在主节点执行的 关闭Hbase集群（没启动，就跳过这步） bin/stop-hbase.sh 在conf目录下创建backup-masters文件 touch conf/backup-masters 在backup-masters文件中配置高可用Hmaster节点 echo hadoop103 > conf/backup-mas...