Hbase篇--Hbase和MapReduce结合Api

HBase开发实例学习 介绍HBase的常用API的使用方法以及HBase与MapReduce的结合使用。 阅读详情

一.前述

Mapreduce可以自定义Inputforma对象和OutPutformat对象,所以原理上Mapreduce可以和任意输入源结合。

二.步骤

将结果写会到hbase中去。

 2.1 Main函数

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;


/**
 * 分析hdfs 文本  统计单词数量
 * 结果输出到 hbase表
 * create 'wc','cf'
 * rowkey: 单词        cf:count=单词数量
 * @author root
 *
 */
public class WCDemo {

    /**
     * 
     * wc
     * 数据hbase表    rowkey  cell存放文本
     * 结果输出到 hbase表
     * 
     */

    public static void main(String[] args) throws Exception {
        
        Configuration conf = new Configuration();
        
        conf.set("fs.defaultFS", "hdfs://node1:8020");//设置hdfs集群nameservices名称
        conf.set("hbase.zookeeper.quorum", "node4");
        
        Job job = Job.getInstance(conf);
        
        job.setJarByClass(WCDemo.class);
        
        job.setMapperClass(WCMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        
//        job.setReducerClass();
        
        //addDependencyJars  本地方式运行: 设置为false
//        TableMapReduceUtil.initTableReducerJob("wc", WCReducer.class, job);
        TableMapReduceUtil.initTableReducerJob("wc",WCReducer.class, job,
                null, null, null, null, false);
        
        Path path = new Path("/user/wc");
        FileInputFormat.addInputPath(job, path);
        
        boolean flag = job.waitForCompletion(true);
        if(flag) {
            System.out.println("success~~");
        }
    }
    
}

2.2 Mapper函数(和正常的Mapper没啥区别)

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WCMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        String[] words = value.toString().split(" ");
        
        for (String w : words) {
            context.write(new Text(w), new IntWritable(1));
        }
    }
}

2.3 Reduce函数(主要是把Put对象写出去)

import java.io.IOException;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

public class WCReducer extends
        TableReducer<Text, IntWritable, ImmutableBytesWritable> {

    @Override
    protected void reduce(Text text, Iterable<IntWritable> iterable,
            Context context) throws IOException, InterruptedException {
        
        int sum = 0;
        
        for (IntWritable i : iterable) {
            sum += i.get();
        }
        
        Put put = new Put(text.toString().getBytes());
        put.add("cf".getBytes(), "count".getBytes(), (sum+"").getBytes());
        
        context.write(null, put);
    }
}

 

Lammps实现甲烷与水的竞争吸附-循环不同气体分子 Lammps实现甲烷与水的竞争吸附 阅读详情

相关推荐

Win11下DCMTK的Visual Studio 2022配置教程

最近有个新需求,需要完成读取和解析DICOM数据相关的SDK

qq_45797625的博客 3264

Hbase与mapreduce结合使用

1:改程序主要使用的将Mapreduce产生的结果输出到HBase指定的表中 package count; import java.io.IOException; public class WordCount { public static class MyMapper extends Mapper{ Text word=new Text(); IntWritabl

红豆和绿豆的博客 859

基于PCIE8311+FPGA+TMS320F28335 PCIE应用项目开发板PROTEL99设计硬件(原理图+PCB)文件

基于PCIE8311+FPGA+TMS320F28335 PCIE X1应用项目开发板PROTEL99设计硬件(原理图+PCB)文件,Protel 99se 设计的项目工程文件,包括原理图及PCB印制板图,可用Protel或 Altium Designer(AD)软件打开或修改,都已经制板在实际项目中使用,可作为你产品设计的参考。

GJZGRB的博客 578

HBase Java API使用IDEA开发----mapreduce读取hdfs文件写入hbase

在hadoop-env.sh 添加export HADOOP_CLASSPATH=$HBASE_HOME/lib/*没有配置HBASE_HOME的去/etc/profile配置环境变量,路径根据你自己的自行修改。在hadoop的bin目录下执行 hadoop jar jar包名字 类名。二、把需要读取的文件上传到hdfs的/user目录下。四、使用maven打包项目,上传到linux,执行程序。一、配置hadoop读取hbase的支持包。把jar包文件复制出来传到linu目录下。

801

全栈开发指南:从前端到后端的全面掌握

全栈开发人员(Full Stack Developer)是指能够处理前端和后端开发工作的开发人员。他们需要掌握各种技术和工具,能够独立完成从需求分析、设计、开发到部署的整个流程。这篇博客将详细介绍全栈开发涉及的各个方面,为您提供从入门到进阶的指导。

Where there is a will, there is a way ! 3455

Android System Slice应用加载分析,及启用Slice后,锁屏日期第一次开机正常显示,但后面锁屏不显示问题分析

最近发现Android P上锁屏界面,日期不显示,发现从P开始后,出现了Slice来允许应用以模块化,可交互的方式,插入多个使用场景。Android P的system UI 也使用到了这一特性,表现为锁屏时间,日期,勿扰图标,闹钟等。 如何使用Slice 以System UI中KeyguardSliceView.java来说明它的使用方法 首先,我们打开System UI 的mk 文件,可以看到以...

qq_33595823的博客 3037

Hbase 和 MapReduce 结合

Hbase 只是一个单纯的数据存储框架, 没有任何的分析能力. 我们可以让 Hbase 和 MapReduce 结合起来, 就扩展出来了数据分析功能. 为什么需要使用 MapReduce 用 MapReduce 的原因有两点: 统计的需要: 我们知道 HBase 的数据都是分布式存储在 RegionServer上的,所以对于类似传统关系型数据库的 group by 操作,扫描器是无...

qq_43193797的博客 1289

Dify视觉模型节点避坑指南:我用Qwen2.5-VL做OCR识别时踩过的3个坑(及解决方案)

本文分享了使用Dify平台和Qwen2.5-VL视觉模型进行OCR票据识别时遇到的三个常见问题及解决方案,包括文件变量传递、结构化输出和条件分支判断失效。通过实战经验,帮助开发者优化多模态模型在财务自动化中的应用,提升OCR识别精度和效率。

weixin_29284885的博客 407

使用MapReduce处理HBase数据

前提条件 IDEA2021 安装好hadoop2.x 安装好hbase1.x 本博文使用的版本为hadoop2.7.3,hbase1.7.1 需求 MapReduce读取HBase的数据,使用MapReduce对读取到的数据进行词频统计处理,把计算结果输出到HBase中。 数据准备 启动hadoop和hbase start-dfs.sh start-hbase.sh 进入hbase shell命令行 创建输入表word 创建输入表word create 'word',

大头皮鞋的博客 6329

188、LLC谐振变换器的样机调试实战(EMI测试)

本文分享了LLC谐振变换器EMI调试的实战经验。作者通过300W电源案例,指出LLC的EMI问题主要来自谐振腔共模电流和死区振铃,并提出三板斧解决方案:优化功率回路布局、合理选择共模电感、正确配置X/Y电容。文章详细分析了谐振电容位置、MOSFET走线、变压器屏蔽等关键设计要点,并列举示波器探头、滤波器接地等常见误区。最后强调EMI调试70%依赖布局优化,建议预扫测试、数据记录并保留6dB余量。全文以实际案例贯穿,为LLC电源EMI设计提供了实用指导。

Jack010169的博客 59

PostgreSQL:Patroni 高可用架构,基于etcd的自动故障转移集群

本文详细介绍了基于Patroni和etcd构建PostgreSQL高可用集群的方案。Patroni作为外部守护进程,通过etcd分布式协调服务实现自动故障转移、主节点选举等关键功能,弥补了PostgreSQL原生缺乏自动故障转移的不足。文章涵盖核心架构(3节点PG+3节点etcd)、环境规划、etcd集群部署(包括配置验证)以及Patroni安装配置的关键步骤,特别强调了Patroni自动初始化PG实例、配置同步复制等生产级特性。该方案通过外部组件协同工作,在不修改PG源码的情况下实现了生产环境所需的高可用

数据知道的博客 2495

Hbase和MapReduce结合Api

一、前述 Mapreduce可以自定义Inputforma对象和OutPutformat对象,所以原理上Mapreduce可以和任意输入源结合。 二、步骤 将结果写会到hbase中去 2.1 Main函数 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.a...

lixinkuan的博客 747

滚雪球学Java(01):Java是什么?| 入门指南

🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,助你一臂之力,带你早日登顶🚀,欢迎大家关注&&收藏!持续更新中,up!up!up!!

**My Coding Family** 629

HBase MapReduce 详解

通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 官方HBase-MapReduce 查看HBase的MapReduce任务的执行 $ bin/hbase mapredcp 环境变量的导入 执行环境变量的导入...

@小刘同学nice 4017

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

HBase与MapReduce:数据处理和分析

1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与Hadoop Distributed File System (HDFS)和MapReduce等组件集成。HBase适用于大规模数据存储和实时数据访问场景。 MapReduce是一个用于处理大规模数据的分布式算法框架,可以与HDF...

AI天才研究院 1683

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

HBase结合MapReduce批量导入

Hbase是Hadoop生态体系配置的数据库,我们可以通过HTable api中的put方法向Hbase数据库中插入数据,但是由于put效率太低,不能批量插入大量的数据,文本将详细介绍如何通过MapReduce运算框架向Hbase数据库中导入数据。 开篇先介绍业务场景:将电信手机上网日志中的数据导入到Hbase数据库中,将部分数据以及相应字段描述列出: 图片格式描述: 先介绍一个日期格...

千淘万漉 713

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

HBase-MapReduce

通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 1、官方HBase-MapReduce 1) 查看HBase的MapReduce任务的执行 $ bin/hbase mapredcp ...

Faded1573606285的博客 476

HBase与MapReduce

HBase API操作 MapReduce 通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中, 比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 》 1.查看HBase的MapReduce任务的执行使用哪些jar $ bin/hbase mapredcp 》 2.环境变量的导入 (1)执行环境变量的导入(临时生效,在命令行执行下述操作) $ export HBASE_H

翁老师的教学团队 1770

HBase回顾四、HBase集成MapReduce

HBase回顾四、HBase集成MapReduce 通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 案例1 要求:通过MapReduce对HBase中student表的数据复制到user表 流程图分析: 第一个案例很简单,只需要通过MR程序完成读写操作即可,而需要注意的时,因为数据的来源和去处都是HBase,所以需要利

ChanZany的博客 424

HBase——HBase上的MapReduce(10)

HBase上的MapReduce:重写WorkCount单词计数 1、建立输入的表 create 'word','content' put 'word','1','content:info','I love Beijing' put 'word','2','content:info','I love China' put 'word','3','content:info...

付之一笑的专栏 625

Hadoop学习--HBase与MapReduce的使用

HBase以表的形式存储数据,每个表由行和列组成,每个列属于一个特定的列zu

maple1149的博客 1763

HBase(第三节)HBase通过JavaAPI与MapReduce结合、HBase结合hive使用、使用sqoop导入导出Hbase

HBase通过JavaAPI与MapReduce结合 通过MapReduce实现Hbase读写 目的:通过MapTask读取Hbase某个表中的数据,再用ReduceTask将该表的某些字段写到另一个Hbase表中。 1、在hbase-shell中创建myuser2表 hbase(main):010:0> create 'myuser2','f1' myuser2作为本实验接收数据的表,读取数据的表出自HBase(第二节)HBase的JavaAPI、HBase底层原理和HBase的三个重要机制的my

hwq317622817的博客 431

HBase MapReduce 使用

项目中需要用MapReduce来读取或者写Hbase,这样可以节省大量开发时间。 Hbase本身的jar包里就有这样的API , 以下是我从官网上找的一些资料,和大家分享一下。 原文地址:http://hbase.apache.org/book/mapreduce.example.html 总体说明一下:TableMapper 主要是读hbase数据,TableReducer 主要是写hba

cuilanbo的专栏 5672
上一篇: HBase篇--HBase常用优化
下一篇: Hive篇---Hive使用优化
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值