南修子学Hbase-CDH6.3.0 配置Hbase和MapReduce的集成

最新推荐文章于 2024-07-22 21:44:01 发布
原创 最新推荐文章于 2024-07-22 21:44:01 发布 · 277 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档指导如何在各机器上配置HBase的环境变量，并更新Hadoop的类路径，然后重启集群并进行测试。首先，编辑`/etc/profile`文件设置`HBASE_HOME`和`PATH`，接着修改`/etc/hadoop/conf/hadoop-env.sh`文件添加`HADOOP_CLASSPATH`。完成配置后，执行命令更新环境变量并重启集群。最后，通过运行RowCounter测试确保配置正确。

以下命令每台机器都要执行

vim /etc/profile

export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export PATH=${HBASE_HOME}/bin:${PATH}

执行 source /etc/profile

vim /etc/hadoop/conf/hadoop-env.sh

export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hbase/lib/*:$HADOOP_CLASSPATH:

**

执行 source /etc/hadoop/conf/hadoop-env.sh

先重启一下集群

在这里插入图片描述

测试

yarn jar /opt/cloudera/parcels/CDH/lib/hbase/hbase-mapreduce-2.1.0-cdh6.3.1.jar org.apache.hadoop.hbase.mapreduce.RowCounter  javatest
sqoop-1.4.6-cdh5.9.3
12-05
标题 "sqoop-1.4.6-cdh5.9.3" 指的是 Sqoop 的一个特定版本，即 1.4.6，它已经集成了 Cloudera Distribution Including Hadoop（CDH）的 5.9.3 版本。CDH 是一个由 Cloudera 公司提供的开源大数据平台，包含了多个 ...
hbase监控工具hbtop CDH6.3.2版本
10-19
hbase监控工具hbtop CDH6.3.2版本，用于监控表、namespace的访问情况，可快速定位问题
Cloudera CDH6.3.0集群安装与部署，集成hbase，集成spark
a515381937的博客
12-29 1303
CDH6.3.0集群安装与部署 1.1.修改机器名（所有节点） 修改机器名称，这种方式，在Centos7中可以永久性改变主机名称。 #hostnamectl set-hostname xxx //设置机器名 #hostname // 查看本机名 每个节点机器，都要配置hosts #vi /etc/hosts 内容都改为： 127.0.0.1 localhost //建议保留此行 192.168.144.*** hadoopm 192.168.144.*** hadoopf 1.2.设置防火墙（所有
(四)HBase与MapReduce集成
DevinKim的博客
08-28 899
文章目录HBase与MapReduce集成(一)读取HBase表写并入另一张HBase表中(二)读取HBase表写入HDFS上的File文件中(三)BulkLoad特性快速导入海量数据★★ HBase与MapReduce集成 ​ HBase当中的数据最终都是存储在HDFS上面的，HBase天生的支持MapReduce的操作，我们可以通过MapReduce直接处理HBase当中的数据，并且MapRe...
HBase 与 MapReduce（HDFS ＜==＞ HBase）
weixin_44387652的博客
03-16 873
HBase 与 MapReduce（数据：HDFS <==> HBase）1、业务流程2、HBaseToHDFS2.1、导入依赖2.2、代码实现2.3、jar 包运行3、HDFSToHBase3.1、准备数据3.2、代码实现3.3、jar 包运行 1、业务流程 为什么需要用 MapReduce 去访问 HBase 的数据？ 答：加快分析速度和扩展分析能力。 MapReduce 访问 HBase 数据作分析一定是在离线分析的场景下应用： 2、HBaseToHDFS 2.1、导入依赖 <?x
CentOS 6 安装HBase集群教程
DaleyZou的博客
03-14 385
hbase0.99.2安装包下载（链接：https://pan.baidu.com/s/1dR-HB3P6mzsXVW6sLI8uxQ 密码：4g1n）首先需要安装  zookeeper（点击查看） 以及 hadoop(点击查看)1. 上传首先确保用户是hadoop，用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下，确保hbase-0...
CDH6.0、6.1篇：4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)
laughing1997的博客
03-29 1859
前置工作： 在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps -ef | grep ntpd 开机启动 systemctl enable ntp...
cdh 6.3.0 安装包
12-11
CDH 6.3.0提供了丰富的数据处理和分析工具，比如Hadoop分布式文件系统、MapReduce计算框架、Hive数据仓库、HBase NoSQL数据库等，可以帮助用户更好地处理和分析海量数据。当然，在使用CDH 6.3.0的过程中，用户还需要...
整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0
最新发布
十八闲客的博客,专注于大数据运维
07-22 2480
flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台。因为后面考虑到hudi的数据要存到oss上，所以要放这几个包进来（关于oss的配置详细可参考oss配置文档）将hudi-hadoop-mr-bundle-0.10.0-SNAPSHOT.jar包放入到以下路径。以下数据证明mysqlbinlog--hudi--hive的链路是成功的。1.先查询mysql中ID为200的数据和flink DAG目前的状态。
记一次 mapreduce 加载HFile文件到HBase中
枪枪枪的博客
06-30 1076
code: 编译打包后放到服务器上用java -classpath XXX.jar XXX.BulkLoadDataToHBase /path outPutTabel运行程序前需要先在HBase中建好表 此时运行会出现报错 错误原因是程序运行时无法找到libsnappy.so.*相关的文件，检查了一遍程序中打包的依赖,发现可以找到对应的类 在google上搜索了后发现，有人建议在运行jar时添加-Djava.library.path=/XXX/hadoop/native/选项后，解决了问题。于是在服务器上
Hbase二级索引+CDH+Lily
热门推荐
jast
09-30 2万+
1.更改表结构，允许复制 已存在的表 disable 'tableName' alter 'tableName',{NAME =&gt;'fn', REPLICATION_SCOPE =&gt;1} enable 'tableName' 不存在的表 create ‘table‘,{NAME =&gt;‘cf‘, REPLICATION_SCOPE =&gt;1} #其中1表示开启replicati...
CDH大数据平台搭建之HBASE集群搭建
qq_41924766的博客
06-16 1222
CHD大数据平台搭建之HBASE集群搭建一、集群规划二、下载三、安装及配置四、启动五、jps验证 一、集群规划 参考CHD大数据平台搭建之集群规划 二、下载 1.官网下载 2.网盘下载 提取码：cdh5 网盘是chd配套版本，官网的事apache版本 三、安装及配置 1、解压 tar -zxvf hbase-1.2.0-cdh5.7.6.tar.gz -C /opt/modules/ 2、新建文件夹 mkdir -p /opt/modules/hbase-1.2.0-cdh5.7.6/datas 3
HBase（CDH）分布式集群安装文档 （笔记）
大数据研习社
03-06 2501
在Hadoop集群基础之上安装HBase集群。1.        集群规划1.1         主机规划  Master Slave1 Slave2 Namenode 是 是   Datanode 是 是 是 HMaster 是 是   HRegionServer 是 是 是 Zookeeper 是 是 是  1.2         软件规划软件 版本 位...
HBase的集群环境搭建
大数据梦想家
12-11 5004
        本篇博客,小菌为大家带来的是关于HBase的集群环境搭建。         在开始之前,有一个注意事项:HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，...
cdh集群搭建(6.3)
前方的路在刚开始
07-19 4301
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
CDH6.3.2 HUE集成HBase
学亮编程手记
08-31 703
HUE集成Hbase： Hbase配置文件-hbase-site.xml <property> <name>hbase.thrift.support.proxyuser</name> <value>true</value> </property> <property> <name>hbase.regionserver.thrift.http</name> <v
MapReduce和HBase集成(Apache版本和CDH版本)
陈小哥cw
12-11 601
通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 1. 官方HBase-MapReduce 查看HBase的MapReduce任务的执行 $ bin/hbase mapredcp 环境变量的导入 执行...
CDH环境下HBase和MapReduce的集成
大数据开发
06-11 557
1.配置环境变量 vim /etc/profile 2.加入： export HBASE_HOME=/opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/lib/hbase export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/lib/hadoop sourc...
HBase 高可用集群详细图文安装部署
GG Bond 的博客
12-13 3127
HBase 高可用集群详细图文安装部署
hbase2.1.0-cdh6.3.0 hbck2
01-20
hbase2.1.0-cdh6.3.0是一个分布式的、面向列的开源数据库，适用于非结构化和半结构化数据存储。而hbck2是HBase 2.0及以上版本的工具，用于检测和修复HBase集群中的一些问题，比如不一致的region分配、损坏的region等...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值