hbase协处理器

hbase 常用操作语法 【hbase常用操作】 【help】查看hbase命令帮助 COMMAND GROUPS:  Group name: general  Commands: status, version  Group name: ddl  Commands: alter, create, describe, disable, drop, enable, exists, is_disab 阅读详情

 写在前边:为表添加协处理器,失败后 建议删除表然后新建表 然后再次添加协处理器,我的就是一直在读缓存的协处理器,也可能是我环境的问题。

package com.ws.coprocessor;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.coprocessor.ObserverContext;
import org.apache.hadoop.hbase.coprocessor.RegionCoprocessor;
import org.apache.hadoop.hbase.coprocessor.RegionCoprocessorEnvironment;
import org.apache.hadoop.hbase.coprocessor.RegionObserver;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.wal.WALEdit;

import java.io.IOException;
import java.util.List;
import java.util.Map;
import java.util.NavigableMap;
import java.util.Optional;

public class myCoprocess implements RegionCoprocessor, RegionObserver {

    @Override
    public Optional<RegionObserver> getRegionObserver() {
        return Optional.of(this);
    }
    // alter 'star', METHOD => 'table_att', 'Coprocessor'=>'hdfs://dream1:9000/starcop/starcop.jar| com.ws.coprocessor.myCoprocess|100|'
    @Override
    public void prePut(ObserverContext<RegionCoprocessorEnvironment> c, Put put, WALEdit edit, Durability durability) throws IOException {
        Log log = LogFactory.getLog(myCoprocess.class);
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","dream1:2181,dream2:2181,dream3:2181");
        Connection conn = ConnectionFactory.createConnection(conf);
        CellScanner cellScanner = put.cellScanner();
        if (cellScanner.advance()){
            Cell current = cellScanner.current();
            byte[] star = CellUtil.cloneRow(current);
            log.error("传入行键:"+Bytes.toString(star));
            byte[] mine = CellUtil.cloneValue(current);
            log.error("传入值:"+Bytes.toString(mine));

            Table fans = conn.getTable(TableName.valueOf("fans"));
            Put fs = new Put(mine);
            fs.addColumn("f".getBytes(),star,star);
            fans.put(fs);
            conn.close();
        }else{
            Table fans = conn.getTable(TableName.valueOf("fans"));
            Put fs = new Put("erro".getBytes());
            fs.addColumn("f".getBytes(),"erro".getBytes(),"erro".getBytes());
            fans.put(fs);
        }
    }
}

添加协处理器

alter 'star', METHOD => 'table_att', 'Coprocessor'=>'hdfs://dream1:9000/starcop/starcop.jar| 
hbase alter 'users', METHOD => 'table_att', 'Coprocessor'=>'hdfs://<namenode>:<port>/user/<hadoop-user>/coprocessor.jar| org.myname.hbase.Coprocessor.RegionObserverExample|1073741823|arg1=1,arg2=2'

'users'  拦截的目标表

METHOD => 'table_att'   这个表示alter命令要对users表做属性修改操作

hdfs://<namenode>:<port>/user/<hadoop-user>/coprocessor.jar   协处理器类所在的jar包

org.myname.hbase.Coprocessor.RegionObserverExample  自定义的协处理器实现类

1073741823  协处理器的执行顺序号,可以为任意数值,小的会优先执行

arg1=1,arg2=2  自定义协处理器所需要的参数

移出协处理器 

alter 'students',METHOD =>'table_att_unset',NAME => 'coprocessor$1'

 

Python爬虫实战:研究Pandas,构建车质网各车型数据采集和分析系统 研究结果表明,通过网络爬虫技术可以有效地获取公开的汽车投诉数据,这些数据经过适当的清洗和处理后,可以揭示出丰富的汽车质量信息。)作为国内专业的汽车质量投诉受理平台,自 2010 年成立以来,已累计接收消费者投诉信息超过 200 万条,这些数据包含了车型、投诉时间、投诉问题、处理状态等多维度信息,具有极高的分析价值。:通过对车质网数据的分析,能够挖掘出有价值的汽车质量信息,为消费者购车提供参考,为汽车厂商改进产品质量和服务提供依据,同时也能为相关监管部门提供数据支持。 阅读详情

相关推荐

JavaSpringBoot + VUE 相关开发环境配置合集

1.Java环境-JDK安装 参照:Java基础1-环境篇:JDK安装与环境变量配置 Java基础1-环境篇:JDK安装与环境变量配置_第一段代码的博客-优快云博客_jdk 2.Web服务器-Tomcat安装 原创Java服务器Tomcat安装和配置 3.Maven(后面为了项目兼容性,使用了3.0.5版本) 原创Maven安装和配置(Maven3.0.5) 4.nginx 原创nginx轻量级Web服务器安装和配置 5 数据库mysql 原创数据库Mysql安装和配置 ...

第一段代码的博客 3164

Hbase 操作命令

Hbase的操作命令,包括基础命令,数据读取,和API操作

m0_72168501的博客 1万+

LangChain学习及应用(超详细)

Model I/O 部分是与语言模型进行交互的核心组件,包括输入提示(Prompt Template)、调用模型(Model)、输出解析(Output Parser)。简单来说,就是输入、处理、输出这三个步骤。LLM 因其具有海量参数,需要花费相当的物力与时间成本进行预训练和微调,同时商用 LLM 还需要进行各种安全测试与风险评估等。因此 LLM 会存在知识滞后的问题。在专有领域,LLM 无法学习到所有的专业知识细节,因此在面向专业领域知识的提问时,无法给出可靠准确的回答。

weixin_39764056的博客 4260

hbase的shell命令行(2)

hbase的shell查询删除操作

moonbis的博客 714

谐振电路原理与应用场景全解析

本文全面解析了谐振电路的原理、类型及其核心应用。详细阐述了串联谐振与并联谐振的工作特性,并重点介绍了其在无线通信调谐、音频处理分频以及电力系统滤波与无功补偿等关键场景中的实际作用。通过公式推导与实例分析,帮助读者深入理解LC谐振的选频与能量交换机制。

t1u2v的博客 840

生存分析机器学习问题

然而,随着人工智能 (AI) 和机器学习 (ML) 的兴起,科学家现在能够开发更复杂的模型,揭示这些数据集中的模式和特征,从而为癌症的生物学、诊断、预后、治疗和预后提供新的见解。病情更重的患者可能接受更强(或更弱)的治疗,导致治疗方案与不良预后(死亡)强相关。数据集中包含失访或研究结束时仍存活的患者(删失数据),他们的真实生存时间未知,仅知道其存活时间不低于观察到的最后一次随访时间。优先选择参数少、结构简单的模型(如带强正则化的线性模型、简单树模型),避免复杂模型(如深度神经网络)。时刻的状态是未知的。

4AM_明朝百晓生 1223

熟悉常用的HBase操作

熟悉常用的HBase操作

小韩的博客 8044

全面讲解电子齿轮比与脉冲数计算

什么是编码器分辨率。

viixin的博客 1万+

HBase常用命令(超全超详细)

本节我们将向您展示如何使用 hbase shell CLI 在 HBase 中创建表、在表中插入行、对表执行放置和扫描操作、启用或禁用表以及启动和停止 HBase。主要讲述了HBase的CRUD等基本DDL和DML操作。HBase Shell 中的删除键没用,要用【Ctrl+Backspace】,每个命令之后不需要分号(;)结束。

未来在这儿的专栏 3万+

使用 MATLAB/Simulink 构建一个多时间尺度下的微电网经济运行优化策略模型

本文介绍了基于Simulink的多能互补微电网系统建模方法,重点关注多时间尺度下的经济运行优化策略。内容包括:系统背景与目标、微电网结构设计(光伏、风电、储能、柴油发电机等模块)、多时间尺度能量管理架构(日前优化、日内滚动优化、实时控制)的实现步骤,以及仿真运行与结果分析。教程详细说明了如何在Simulink中调用优化算法,设置仿真参数,并提供了进阶研究方向和资源推荐。该模型为研究微电网的经济运行和智能调度提供了完整的仿真平台解决方案。

amy_mhd的博客 173

网表导入virtuoso后发现pg pin忘记connect_pg_net/globalNetConnect怎么办?

数模混合项目中经常需要一些需要到virtuoso去连接的线,比如IO上的pg和一些信号线,除了在pr工作中设置skip route之外还需要做好net的赋值,告诉工具虽然我没在物理上有连接,但是实际上应该连什么net,这部分提现在网表里。在Default Net Name中也填写net name,因为这个net需要做global操作,即在顶层定义这个net,所以需要在net name后加个!打开schematic,删除指定cell pin所接net的label。

m0_61544122的博客 970

hbase的协处理器

一、产生背景 Hbase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hbase 中,统计数据表的总行数,需要使用 Counter 方法,执行一次 MapReduce Job 才能得到。虽然 HBase在数据存储层中集成了 MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单的相加...

墨殇 5070

把 ABAP 开发对象装进 XML 行李箱:SAPlink 安装、插件、升级与协作迁移全指南

SAPlink是一款用于在SAP NetWeaver系统间导入导出ABAP对象的工具,特别适合临时协作、系统孤岛等场景。它通过XML文件(Slinkee和Nugget两种格式)传输开发对象,支持插件扩展多种对象类型。安装时需注意版本兼容性、权限和激活流程,使用时要区分覆盖选项的风险。相比正式运输系统,SAPlink更适用于快速共享、原型交付等非生产场景,但需配合命名规范和协作策略确保可维护性。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 156

Hbase 协处理器

介绍了Hbase 协处理器,并使用代码进行了演示

凉茶铺的博客 897

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

HBase 协处理器统计行数

环境:cdh5.1.0 方法1. 启用协处理器 Aggregation(Enable Coprocessor Aggregation) 我们有两个方法:1.启动全局aggregation,能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现,只需要添加如下代码: hbase.coprocessor.user.region.classes o

专注大规模数据处理 5133

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【HBase】HBase 协处理器

文章目录一、协处理器的产生二、协处理器的类型2.1、Observer2.1.1、适用场景2.1.2、Observer 类型2.1.3、执行流程2.2.4、Observer Example2.2、Endpoint2.2.1、适用场景2.2.2、执行流程2.2.3、Endpoint Example三、协处理的加载方式3.1、静态加载与卸载3.1.1、静态加载3.1.2、静态卸载3.2、动态加载与卸载3...

w1992wishes的博客 1776

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

HBase的协处理器

1、 起源 Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hbase 中,统计数据表的总行数,需要使用 Counter 方法,执行一次 MapReduce Job 才能得到。虽然 HBase 在数据存储层中集成了 MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单...

weixin_42487706的博客 847

【Hbase】【05】协处理器

1.官网 http://hbase.apache.org/1.4/book.html#cp HBase协处理器以Google BigTable的一部分(http://www.scribd.com/doc/21631448/Dean-Keynote-Ladis2009,第66-67页)的协处理器为模型。 协处理器的功能类似于Linux内核模块。它们提供了一种针对本地存储的数据运行服务器级代码的方法。...

huiyanshizhen21的博客 349

Hbase Coprocessors 协处理器

目录 Hbase 协处理器的概述 与其他协处理器的比较 Triggers and Stored Procedure MapReduce AOP 协处理器如何实现 Coprocessors类型 观察者协处理器 Observer Coprocessor 使用样例 Observer Coprocessor 的类型 端点协处理器 如何加载协处理器 静态加载 静态卸载 动态加载 动态卸载 使用样例 观察者样例 端点样例 其他协处理器的使用手册 目前的限制 Hbase 协处理

主要写大数据集群一线运维和学习工作经验 992

HBase的两种协处理器

1.起因(Why HBase  Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的( 2.灵感来源( Source of Inspration) HBase协处理器的灵感来自于Jeff Dean 09年的演讲( P66-67)。它根据该演讲实现了类似于bigtable的协处理器,包

bbaiggey_bigdata的博客 1642

Hbase2.x协处理器的使用

简介 HBASE的协处理器分为endpoint和observer,网上介绍很多,这里不再赘述,直接上代码。 创建Maven工程 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://...

天地人的博客 2071

hbase 协处理器 部署_hbase 协处理器

1、自定义协处理器hbase 版本: 2.x使用自定义的协处理器需要实现Coprocessor, RegionObserver, CoprocessorService这三个接口,如下图:可以看出协处理器的加载分为静态加载和动态加载,静态加载需要修改hbase-site.xml配置文件,这将对所有的hbase表生效;如果单纯的只对某张表生效,需要通过hbase shell命令行方式进行动态的加载。2...

weixin_39984442的博客 228

HBase协处理器

HBase协处理器简介 作用 类似于存储过程和触发器。在服务端运行,减少服务器/客户端IO 类型 类似于存储过程的“终端程序”(EndPoint) 类似于触发器的“观察者”(Observers) 协处理器家族 观察者 RegionObserver:针对region,监听关于region的操作 RegionServerObserver:针对region服务器,监听整个Regio...

YongYu_IT的专栏 823

HBase 协处理器总结

HBase 协处理器总结 1. 协处理器是什么 1.1 概述 理解为服务端的拦截器,可根据需求确定拦截点,再重写这些拦截点对应的方法 协处理器允许在region server上运行自己的代码,更准确地说是允许用户执行 region级的操作,并且可以使用与RDBMS中触发器(trigger)类似的功能 协处理器分两种类型,系统协处理器可以全局导入region server上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。协处理器框架为了更好支持其行为的灵活性,提供了两个不同方面的插件。 一个

xiaohu21的博客 876
上一篇: mapreduce生成hfile
下一篇: 从linux上下载到本地
JNWsong
博客等级 码龄9年 287粉丝 204原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值