mr读取写入hbase配置

HBase-MR操作 HBase擅长存储数据,但不擅长计算分析数据,但是它可以借用其他组件(mapreduce/spark),使用官方提供的hbase-api来实现计算分析数据功能。 hbase-server.jar 下面官方提供的一个Hbase操作MR的例子,此例子作用是对一张表的rowkey进行计数。 解决HBase与MapReduce的依赖包问题。 # 显示hbase需要的MapReduce Jar包 hba... 阅读详情

配置永久生效:

  1. 先确定配置hbase和hadoop 的环境变量

export HBASE_HOME=/opt/module/hbase
export HADOOP_HOME=/opt/module/hadoop-3.1.3

  1. 配置mr使用hbase依赖
    hadoop 2 .x

在 hadoop-env.sh 中配置:(注意:在 for 循环之后配)
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*

hadoop3.x

在hadoop-env.sh 随便一个位置配置都可以
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*

  1. 案例1:统计表中有多少行的数据(检测读取能力)

yarn jar lib/hbase-server-1.3.1.jar rowcounter student

  1. 案例2: 将文本数据写入到 hbase表中( 检测写入能力)

数据:

  1. 在本地创建一个 tsv 格式的文件:fruit.tsv

1001 Apple Red
1002 Pear Yellow
1003 Pineapple Yellow

  1. 上传到hdfs上

hdfs fs -put ‘‘数据路径’’ “传入的路径”

执行下面命令

/opt/module/hadoop-3.1.3/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit hdfs://hadoop202:8020/fruit.tsv

主要使用的几个类(java代码):

Driver:

package com.dxy.mr2;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;

public class Fruit2Driver {

    /*
      读取表中的数据, 进行操作到(过滤列)另一张表
     */
    public static void main(String[] args) {


        try {
            Configuration configuration = HBaseConfiguration.create();


            Job job = Job.getInstance(configuration);

            //设置驱动类
            job.setJarByClass(Fruit2Driver.class);

            // 设置Mapper 的输出类型和 Mapper类
            TableMapReduceUtil.initTableMapperJob("fruit",new Scan(),Fruit2Mapper.class,
                    ImmutableBytesWritable.class,
                    Put.class,
                    job);

            // 设置 reducer 类和输出类型
             TableMapReduceUtil.initTableReducerJob("fruit2",Fruit2Reduce.class,job);

            boolean b = job.waitForCompletion(true);

            System.exit(b?0:1);


        }catch (Exception e){
             e.printStackTrace();
        }
    }
}

mapper:

package com.dxy.mr2;

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

public class Fruit2Mapper extends TableMapper<ImmutableBytesWritable, Put> {


    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {

        /**
         *  根据key 到中取得数据, 然后获得cell 进行遍历
         */
        Put put = new Put(key.get());

        for (Cell cell : value.rawCells()) {

            if("name".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){

                put.add(cell);
                context.write(key,put);
            }
        }

    }
}

reduce:

package com.dxy.mr2;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapred.TableReduce;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;

import java.io.IOException;

public class Fruit2Reduce extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {


    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {


        for (Put value : values) {

             context.write(NullWritable.get(),value);
        }
    }
}
HBase与MR、Hive整合 本文介绍了HBase与MapReduce(MR)的三种整合方式,并通过具体案例展示了实现过程。详细演示了每种场景的代码实现,包括Mapper、Reducer和主程序的编写,以及相关配置和依赖管理。此外,还介绍了HBase与Hive的整合方法,包括内部表和外部表的创建、数据映射关系设置,以及通过Hive操作HBase表数据的注意事项。 阅读详情

相关推荐

封包(一)(雷电模拟器+ProxyDroid+查尔斯3.93+WPE)

自从换了工作就没有给大家分享一些干活,在加上陪伴自己的孩子没有时间更新文章了,这只能在晚上给大家写文档了,我最近在游戏公司上班,研究封包。我把这些东西都做成了笔记,我想有些东西是大家都想弄明白d ...

寒梅独自开 1万+

HBase 与 Hive 集成 后启动hive报错

在/opt/module/hadoop-3.1.3/etc/hadoop/ hadoop-env.sh 里加了配置 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*

kujhhgfgkkl的博客 296

达梦数据库JDBC连接池断开自动重连设置

一、场景 在网络状况不是非常良好,经常会出现暂时性的拥塞或者断开的情况,而且当我们重启数据库时也会发生类似的情况。所以需要配置中间件的连接池来实现连接测试以及自动重连,通过重新配置连接池,成功解决了这个问题。下面会给出一份数据源配置参数详单和一份推荐的数据源配置项。 二、连接池配置参数 1. initialSize:连接池启动时创建的初始化连接数量 2. maxActive:连接池中可同时连接的最大的连接数 3. maxIdle:连接池中最大的空闲的连接数,超过的空闲连接将被释放,如果设置为负

lilv1989的博客 7237

HBase(4)- HBase API操作

1 HBase API操作 1.1 环境准备 新建项目后在pom.xml中添加依赖: <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.4.13</version> &l

qq_42409495的博客 1728

纯相位全息图优化算法综述

除此之外,还有许多用于减少斑点噪声的非迭代方法,例如:采用下采样掩膜的采样纯相位全息图(Sampled-Phase-only Hologram)方法、模式化相位掩膜(Patterned Phase-Only Hologram)方法、双相位方法(Double-Phase Method),以及使用非随机相位掩膜的方法(Random Phase-Free Method)等。迭代算法通常由一个对目标全息图的近似出发,经过一系列的重复操作不断优化这个近似全息图,直到该近似所得到的重建图像满足一定的误差要求;

ZhongKeWeiXing的博客 1429

自适应IIR格型滤波器的Matlab实现

概述 在现有的众多抑制窄带干扰的信号处理手段中,时域自适应陷波干扰抑制技术具有实现简单、抗干扰性能好等优点。IIR陷波器按照结构可以分为直接型和格型两种。相比自适应直接型IIR陷波器,自适应格型IIR陷波器不仅可以准确地控制滤波器的陷波频率,也可以准确地调整陷波器的带宽。 传递函数 二阶自适应IIR格型陷波器的传递函数H(z)为: 其中α与陷波带宽有关,β与陷波频率有关;对应的结构如下图所示: Matlab算法实现 ...

剑藏锋的博客 2803

hbase中执行mr任务

1.查看hbase的mr任务的执行 bin/hbase mapredcp 2.环境 永久生效,在/etc/profile vi /etc/profile export HBASE_HOME=/opt/hbase export HADOOP_HOME=/opt/hadoop 并在hadoop-env.sh中配置(for循环后面配) vi hadoop-env.sh export HADOOP_CLA...

big_data_study的博客 869

Windows 11下Dify安装部署实战指南

本文详细介绍在Windows 11环境下部署开源LLM应用开发平台Dify的完整流程。涵盖环境准备(WSL 2启用、Docker Desktop安装配置)、源码获取、Docker容器化部署、数据库初始化、服务启动验证等核心步骤。包括环境变量配置、性能优化、安全加固、端口冲突解决、数据库连接故障排查等关键技术要点。为开发者提供从零到一的Dify本地化部署实战指南

weixin_44269410的博客 853

Spark读取Hbase内容

上面代码要读取Hbase数据、先初始化Hbase相关信息,主要的还是Scan信息,制定了要读取什么数据,当然这里只是罗列了常用的还有其他的条件可以加入。然后再是初始化Spark上下文。最后就行调用Spark获取数据。

龙大的博客 1285

Cesium实战:全球海洋动态水面与自定义区域波浪效果实现

本文详细介绍了在Cesium中实现全球海洋动态水面与自定义区域波浪效果的实战方法。通过解析核心概念Primitive与Geometry,并深入讲解Water材质的关键参数调节,指导开发者快速创建逼真的动态海洋。文章重点阐述了如何利用多边形坐标定义不规则图形区域,实现精准的局部水域波浪效果,并提供了性能优化与视觉提升的实用技巧。

weixin_29256771的博客 502

《Autosar_BSW高阶配置》总目录_培训教程持续更新中...

目录 一、Autosar COM Module 二、Autosar BswM Module 三、Autosar EcuM Module 四、Autosar DCM Module 五、Autosar DEM Module 六、其它Module陆续推出 欢迎大家订阅《Autosar_BSW高阶配置》专栏(可以理解为是Autosar培训教程),该专栏每周至少更新一篇,一次订阅,不再二次收费,献上常用的案例和配置方法。下方整理了相关博文的链接(单击蓝色字体即可跳转),方便大家获取。 本专栏...

「汽车电子助手」的博客 4万+

HBASE——使用MR,将HBASE中的数据写入HDFS,将HDFS中的数据写入HBASE:

1、将HBASE中的数据使用MR写入HDFS hadoop jar /ajar/Hbase2Hdfs.jar hbase_mr.Hbase2Hdfs /hbase2hdfs package hbase_mr; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; impor...

zgm12的博客 797

基于风机和水轮机互补发电系统的Simulink仿真

随着全球对清洁能源的需求不断增长,风力发电和水力发电作为两种重要的可再生能源发电方式,受到了广泛关注。风机和水轮机互补发电系统结合了两者的优势,能够在不同的自然条件下稳定地输出电能,提高能源利用效率和供电可靠性。本文将详细介绍风机和水轮机互补发电的原理,包括风力发电原理、水力发电原理以及两者互补的机制和优势,并通过相关数学公式进行深入分析。水轮机也有其特定的特性曲线,包括流量 - 水头曲线、功率 - 流量曲线等。在不同的水头和流量条件下,水轮机的输出功率会发生变化。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 173

HBase与MR的集成

MR <--- 读取 HBase的数据 MR ---> 写入 HBase(使用场景:数据迁移) HBase -> MR -> HBase 读取和写入(使用场景:索引表的建立) 1.MR与HBase集成所需要的jar包 bin/hbase mapredcp 2.运行环境 export HADOOP_HOME=/opt/modules/hadoop export HBASE_HOME=/opt/modules/hbase HADOOP_CLASS...

蔡政洁的博客 741

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

mr从hdfs读取数据处理之后写入到Hbase

需求:使用mr从hdfs读取数据处理之后写入到Hbase package pers.nebo.mrtohbase; /** @ author fnb @ email nebofeng@gmail.com @ date 2019/12/17 @ des : / import java.io.IOException; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.conf.Configuration; import

NeboFeng的博客 847

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

HBase与MR、hive集成

文章目录12、HBase与MapReduce的集成需求一:读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步:创建myuser2这张表第二步:创建maven工程,导入jar包第三步:开发MR的程序第四步:运行运行第一种方式:本地运行运行第二种方式:打包集群运行第一步:pom.xml当中添加打包插件第二步:代码当中添加第三步:使用maven打包需求二:读取HDFS文件,写入到H...

Imflash的博客 838

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

HBase到MR再到HBase

自定义HBase-MapReDuce2——从Hbase表中读取数据,经过MR,再返回到一个新的Hbase表中 文章目录1)需求分析2)编写Mapper3)编写Reducer4)编写Driver5)本地连接Hbase6)检验 1)需求分析 从fruit表中抽出info:name信息,放入fruit2表中 2)编写Mapper package com.yingzi.mr2; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase

yingzi的技术博客 1365

hadoop MR从hbase中读取数据写入到hbase中

hadoop MR从hbase中读取数据写入到hbase中的配置 public class WordCount { private static final Logger LOGGER= LoggerFactory.getLogger(WordCount.class); static class HbaseMapper extends TableMapper{

笨小葱的专栏 3108

HBase与MapReduce的集成(读取myuser这张表当中的数据写入到HBase的另外一张表当中去)

需求:读取HBase当中一张表的数据,然后将数据写入到HBase当中的另外一张表当中去。 注意:我们可以使用TableMapper与TableReducer来实现从HBase当中读取与写入数据 这里我们将myuser这张表当中f1列族的name和age字段写入到myuser2这张表的f1列族当中去 第一步:创建myuser2这张表 注意:列族的名字要与myuser表的列族名字相同 h...

最慢的步伐不是跬步,而是徘徊;最快的脚步不是冲刺,而是坚持 8351

MR之wc数据写入Hbase

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration;

QQ331948781的专栏 729

API对HBase进行MR操作

以下代码是实现将HDFS中的数据文件保存到HBase中 若是要读HDFS中的文件则map继承Mapper,若要读取HBase中的文件则继承TableMapper 其中TableMapper只需要传两个out put的参数,另外两个是默认的 若要写入HBase则reduce要继承TableReducer,其中Out Put Key是指定了Mutation类型的,支持增(put)删(delete)改(put)几种类型 若用了TableMapper则不需要指定输入路径,且在Driver中用TableMap

tyh1579152915的博客 549

spark与MR读取HBase snapshot

import com.suning.recmmentation.content.video.online.habse.HbaseDaoImpl; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a.

学海无涯 1598

Apache HBase JavaAPI 读取HDFS文件,写入HBase表中

第一步:准备数据 准备数据文件,并将数据文件上传到HDFS上面去 hdfs dfs -mkdir -p /hbase/input cd /export/servers/ vim user.txt 0007 zhangsan 18 0008 lisi 25 0009 wangwu 20 第二步:开发MR程序 public class Hdfs2Hbase ...

大数据流浪法师的学习笔记与分享 1116

6、HBase和MR

Hbase和MR 通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,如使用MapReduce将数据从本地文件系统导入到HBase之中。或者使用MapReduce对Hbase中的一些表进行分析。 准备 首先要配置好hadoop和Hbase的环境变量 在hadoop-env.sh中在for循环后加上export HADOOP_CLASSPATH=$HADOO...

resilienter的博客 256

hbase数据读取优化_一个Hbase数据读取优化的小例子

今天群里有个有经验的大神提了一个问题(@尘事随缘),记录下来。A君搭建一个小型的集群,7台DataNode,一台主节点。需求是这样:通过MR程序去读取Hbase表里面的数据,程序运行后发现速度比较慢,通过查询任务详细发现,累计需要1542个Map完成,目前有14个MAP在执行。客户对此速度表示不满意,请问如何优化?首先通过Job看,有1542个Map需要执行,说明Hbase,有1542个分区(每个...

weixin_39725193的博客 170

spark 数据写入到 hbase

1)spark把数据写入到hbase需要用到:PairRddFunctions的saveAsHadoopDataset方法,这里用到了 implicit conversion,需要我们引入 import org.apache.spark.SparkContext._ 2)spark写入hbase,实质是借用了org.apache.hadoop.hbase.mapreduce.TableInpu...

potter 2813
上一篇: kafka常见问题
下一篇: hbase和hive交互
First_____
博客等级 码龄6年 132粉丝 150原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值