flink集群执行hbase写入任务

最新推荐文章于 2024-07-01 11:42:10 发布
最新推荐文章于 2024-07-01 11:42:10 发布
阅读量354 收藏
点赞数
分类专栏： Flink HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/victory0508/article/details/113355196
版权

flink集群运行任务，将kafka数据写入hbase,任务执行不下去，hbase没有数据。

1. 配置环境变量：

HADOOP_HOME=/usr/lib/hadoop
HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce
HADOOP_CLASSPATH=`hadoop classpath`

PATH=$PATH:$HADOOP_HOME/bin:......
export HADOOP_HOME HADOOP_MAPRED_HOME HADOOP_CLASSPATH CLASS_PATH PATH

2.

2.1 检查hadoop版本：

hadoop version

2.2 按照HADOOP版本下载jar包

https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/

cd flink_home/lib

proxychains4 wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-10.0/flink-shaded-hadoop-2-uber-2.6.5-10.0.jar

scp到其他节点

3. 重启集群

stop-cluster.sh

start-cluster.sh

 

 

FlinkCDC写入kafka计算后写入写出hbase-工作实例
someInNeed的博客
03-25 3054
POM文件 <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regarding copyright ownership. The ASF licenses this file to you.
基于FlinkCDC将数据写入Kafka并计算后写入HBase的工作实例
YazIdris的博客
09-24 418
在上面的示例代码中，我们使用Flink的Kafka连接器创建了一个输入表（source_table），该表会从Kafka的"flink_cdc_topic"主题中读取数据。它提供了高效的、容错的、分布式的数据处理能力。在上面的示例代码中，我们使用FlinkCDC创建了一个源表（source_table），该表会从MySQL的test数据库中的source_table表捕获数据变更。然后，我们创建了一个目标表（sink_table），该表将数据写入Kafka的"flink_cdc_topic"主题中。
Flink读取kafka主题，并写入hbase
taoyundao_1的博客
03-13 2535
是版本号错误 flink-sql-connector-hbase-2.2-1.17.2.jar 1.17.2与flink版本号不对。hbase(main):014:0> create 'venn','cf' 创建表，有一个列族cf。（4）对于一大题，可拆成若干步，如上面可拆成连接kafka，连接hbase，插入三步，缩小问题范围。本次解决问题是用了flink-sql-connector-hbase-2.2-1.17.2.jar。{"字段1": "值1", "字段2":"值2", ……
flink-cdc实时增量同步mysql数据到hbase
大数据技术派
09-16 1982
CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。
Flink SQL 将kafka数据写入HBase
努力让自己更优秀的博客
08-17 1907
1,定义Sql； /** * Created by zhangna on 2020/8/12 12:38 下午 */ public interface TableConstant { String KAFKA_TABLE_SOURCE_DDL_01 = "CREATE TABLE kafka_message_consumer (\n" + " receiv_address STRING,\n" + "
Flink 读写 HBase 总结
主要分享大数据相关的知识，如Spark、Hudi
12-09 1627
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
flink SQL与hbase整合
m0_37592814的博客
12-02 5532
一、前言 flink sql 与hbase 整合 主要实现：flink sql 客户端中的hbase表与hbase中的表数据交互，为以后纯sql编写程序做准备如：创建kafka表、hive表、hbase表、mysql表，kafka表作为source hive表 sql语句加工作为算子 hbase表、mysql表作为sink表 1.flink sql 客户端中能读取hbase shell 写入的数据 2.flink sql 客户端写入hbase表中的数据在hbase shell中能读取 flink ..
如何使用 Flink Connectors —— HBase？
http://www.54tianzhisheng.cn/
09-22 416
准备环境和依赖 HBase 安装 如果是苹果系统，可以使用 HomeBrew 命令安装： brew install hbase HBase 最终会安装在路径 /usr/local/Cellar/hbase/ 下面，安装版本不同，文件名也不同。 配置 HBase 打开 libexec/conf/hbase-env.sh 修改里面的 JAVA_HOME： # The java implementat...
Hbase建表FLinksql 任务运行
最新发布
weixin_44236758的博客
07-01 402
【代码】Hbase建表FLinksql 任务运行。
最佳实践：Flink 流式导入 HBase.pdf
03-21
- **流处理模式**：对于高并发场景，可以选择Flink的流处理模式，实现实时的、低延迟的数据写入HBase。 - **并行度设置**：根据集群资源和数据量，合理设置Flink作业的并行度，以提高数据导入的吞吐量。 - **性能...
kafka数据导入hbase
mn_kw的博客
04-26 3016
我们在使用kafka处理数据的过程中会使用kafka跟一下数据库进行交互，Hbase就是其中的一种。下面给大家介绍一下kafka中的数据是如何导入Hbase的。 本文的思路是通过consumers把数据消费到Hbase中。 首先在Hbase中创建表，创建表可以在Hbase客户端创建也可以通过API创建，这里介绍通过API创建表的方法： 创建CreatTableTest类[java] view pl...
将kafka主题中的数据写到HBase中
alisa_Ge的博客
04-11 549
写在前面，最好将虚拟机的ip地址映射写到windows下的hosts文件中，不然连接会非常的耗时。具体路径：C:\Windows\System32\drivers\etc\hosts 1.新建maven项目——kafkatohbase 项目架构如下： 2.导入pom.xml的依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> .
Flink读Kafka写入HBase
落幕7的博客
11-29 1452
文章目录Flink从kafka读数据写入HBase读取Hbase数据 Flink从kafka读数据写入HBase Flink官网帮助文档链接 先导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hbase_2.11</artifactId> <version&
flink sql 读取 kafka 数据写入 Hbase中
zuixue_lei的博客
03-30 2284
版本说明： flink 1.12 、Hbase 1.4 1、查询 flink 1.12 的官网，找寻flink sql 连接 Hbase 的信息。 Apache Flink 1.12 Documentation: HBase SQL Connector 根据 Hbase 版本需要下载依赖 官网中的连接信息 -- register the HBase table 'mytable' in Flink SQL CREATE TABLE hTable ( rowkey I...
Flink 1.12 读取kafka 写入hbase | 自定义HbaseSink | 含源码
qq_38151907的博客
07-11 6824
Flink 1.12 读取kafka 写入hbase | 自定义HbaseSink | 含源码
Flink 消费kafka数据写入hbase
@羲凡—只为更好的活着
11-22 3804
@羲凡——只为了更好的活着 Flink 消费kafka数据写入hbase 一.前提准备 1.创建Hbase表 create 'test_20191122','info' 2.pom.xml文件中要添加依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-cli...
FlinkSql Kafka入hbase
weixin_45780435的博客
08-19 624
1.创建hbase表 create '表名称','列簇' 2.编写Flinksql CREATE TABLE kafkaSource( id STRING, name STRING, age STRING, dt STRING ) WITH ( type='kafka', kafka.bootstrap.servers='kafka IP地址:9092', kafka.auto.offset.reset='latest', k
hbase flink 的maven pom。xml 配置
weixin_34345560的博客
03-19 813
2019独角兽企业重金招聘Python工程师标准>>> ...
Kafka数据写入Hbase (含设计模式简单使用)
小财迷嘻嘻的博客
01-15 1241
设计模式详解可以看菜鸟教程：https://www.runoob.com/design-pattern/singleton-pattern.html 我们将kafka的数据写进HBase中，都是在一个main方法中的，这显然是个小白做法，下面我们用设计模式实现，降低依赖，降低耦合，增加代码的可重用性。 pom依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId&gt
Flink如何写入Hbase
05-12
Flink 写入 HBase 可以通过 HBase 的客户端 API 或者 Flink 的 Table API 和 SQL API 实现。下面分别介绍两种方式的实现方法。 ## 1. 使用 HBase 客户端 API 使用 HBase 客户端 API 可以直接连接 HBase 集群，将数据写入到 HBase 表中。 ```java // 创建 HBase 连接 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "localhost"); // HBase 集群的 ZooKeeper 地址 Connection conn = ConnectionFactory.createConnection(conf); // 获取 HBase 表 TableName tableName = TableName.valueOf("table_name"); Table table = conn.getTable(tableName); // 创建 HBase Put 对象，设置行键和列值 Put put = new Put(Bytes.toBytes("row_key")); put.addColumn(Bytes.toBytes("column_family"), Bytes.toBytes("column_name"), Bytes.toBytes("value")); // 将 Put 对象写入 HBase 表 table.put(put); // 关闭连接 table.close(); conn.close(); ``` ## 2. 使用 Flink Table API 和 SQL API Flink Table API 和 SQL API 提供了将数据写入 HBase 的内置函数，可以更方便地实现数据的写入操作。 ```java // 定义 HBase 表的 schema final String tableName = "table_name"; final String columnFamily = "column_family"; final String[] columnNames = new String[]{"row_key", "column_name", "value"}; final TypeInformation[] columnTypes = new TypeInformation[]{Types.STRING, Types.STRING, Types.STRING}; final TableSchema tableSchema = new TableSchema(columnNames, columnTypes); // 创建 HBase 输出格式 HBaseOutputFormat hbaseOutputFormat = new HBaseOutputFormat(tableName, columnFamily, tableSchema); // 将 HBase 输出格式转换为表 Table hbaseTable = tableEnv.fromOutputFormat(hbaseOutputFormat); // 定义输入表 Table inputTable = ... // 将输入表写入 HBase 表 inputTable.insertInto("hbase_table"); ``` 需要注意的是，使用 Flink Table API 和 SQL API 写入 HBase 时，需要将数据转换为 `Tuple` 或 `Row` 类型，并且需要将数据的 schema 定义为 `TableSchema` 类型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值