ETL日志数据到HBASE表中，程序代码优化点

最新推荐文章于 2024-06-05 02:02:42 发布

夏天-.-

最新推荐文章于 2024-06-05 02:02:42 发布

阅读量248

点赞数

文章标签： ETL到HBASE优化

本文链接：https://blog.youkuaiyun.com/yhquser/article/details/98656567

版权

本文探讨了在Spark中优化程序执行效率的方法，包括利用广播变量减少数据传输消耗，以及在向HBase存储数据时采用HFileOutputFormat以提高写入性能。同时，介绍了在创建表时设置数据压缩、预分区及禁用数据缓存等策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.创建表的时候

设置表的数据压缩

创建预分区

设置读取表中的数据不缓存

2.spark程序的优化

.filter(tuple =>eventTypeList.contains(EventEnum.valueOfAlias(tuple._1)))

eventTypeList是Driver里面，filter是在Executor里面task运行

如果是一个数据库对应一个分区，一个分区对应一个Task，假设有1000个分区
如果eventTypeList1M的话，将消耗1GB
可以考虑一个executor存储一份，如果有10个executor存储10M就好了

Spark supports two types of shared variables

broadcast variables：广播变量
which can be used to cache a value in memory on all nodes,
使用广播变量将集合类别广播出去：将数据发送到每一个executor里面

accumulators：累加器
which are variables that are only “added” to, such as counters and sums.

3.使用HFileOuputFile

向HBASE表中存储数据的时候

put方式
putData ->WAL->MemStore ->StoreFile(HFile)

Hfile方式
Date –>Hfile ->load table

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

夏天-.-

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

实时即未来，大数据项目车联网之原始数据实时ETL任务HBase调优【九】

Maynor的博客

01-03

639

hbase的每一次put操作写入数据，实际上是一个RPC操作，将客户端的数据传输到hbase服务器再返回结果，适合小数据量写入，当需要写入大量数据时，每一次put连接一次RPC连接，会增加连接次数，因此会增加传输时间和IO消耗。l HBase基于列簇存储数据，列簇是表的schema信息的一部分，列是基于列簇为前缀加上属性存储，因此对hbase表进行编码压缩，可以认为是对列数据的压缩。如果是，则不会再次存储数据。上一节写入数据，一条条数据put到表中，对于大量数据的写入，效率极低，因此针对此项进行优化。

【大数据】Flink + Kafka 实现通用流式数据处理详解

congge

10-27

1万+

Flink + Kafka 实现通用流式数据处理详解

参与评论您还未登录，请先登录后发表或查看评论

使用Spark对ETL数据到HBase中可以做的优化点

蚂蚁

08-06

381

优化一：HBase表的优化在建立HBase表时，提前设置好表的数据存放的压缩的方式提前建立region分区设置读取表中的数据不缓存优化二：Spark程序的优化优化场景 Spark中有Driver与Executor Executor执行Task Executor执行Task的时候，有可能会用到Driver中的数据那么就需要Driver将数据发送给Executor Executor中如...

HBase之rowkey设计原则和方法

Black_Moonlight的博客

04-29

247

rowkey设计原则和方法 rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。 2...

Impala与Hbase整合用于ETL过程尝试（3）

fishhunter的博客

12-16

3613

一、性能验证如果真要在生产环境中用，需要验证如下场景： l 正向操作：在impala中通过sql insert大规模的加载或更新hbase的记录 l 反向操作：将hbase中的表导出到impala中形成可分析统计的表上述场景如果不满足性能要求，就很难在生产中用于ETL了，而只能是做局部的小批量更新。 1. 样本数据准备为了模拟大数据量，将字段扩展至

数据中台源程序免费共享给大家

04-04

通过研究这部分源码，我们可以了解到数据中台如何管理和操作数据，如何进行数据治理，以及如何设计高效的数据服务。源代码的分析通常包括以下几个方面： 1. 架构设计：查看代码结构，了解模块划分，掌握系统的...

数据分析平台，集成kafka、spark、hbase并附带示例.zip

01-04

Kafka通过发布/订阅模式将生产者生成的数据分发到消费者，适用于日志收集、用户行为追踪、流式计算等多种场景。 2. **Spark**： Spark是大数据处理领域中的一个快速、通用且可扩展的开源框架。它提供了丰富的API，...

SparkHBase整合原理与代码实例讲解

AI智能涌现深度研究

06-05

292

Spark-HBase整合原理与代码实例讲解 1. 背景介绍 1.1 大数据处理现状随着互联网、物联网等技术的飞速发展,数据呈现爆炸式增长。传统的数据处理方式已经无法满足海量数据的实时分析和处理需求。大数据技术应运而生,其中

ETL to HBASE Spark 流程总结

yhquser的博客

08-06

468

前言：基于spark框架读取HDFS日志文件数据，进行ETL操作，最终将数据插入到HBase表中采集数据有很多事件类型，不同的事件类型字段类型不一样 HBase表的设计每天一张表，每次分析的数据为一条的数据，rowkey设计 rowkey设计满足：唯一性、热点性、前缀匹配例： a）服务器的时间 b）用户ID + 会员ID+ 事件名称 ->CRC32处理，得到一个Long数字 E...

ETL 工具kettle入门例子大全

11-14

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。基础转换，job则完成整个工作流的控制。本文ETL 工具kettle入门例子大全主要结合实际操作给大家讲解，快速提升战斗力

【Spark】ETL数据到HBase中时优化

sunwenxu的博客

08-06

249

创建表的时候设置表的数据压缩创建预分区设置读取表中的数据不缓存 cache block spark程序的优化存在一个变量eventTypeList是Driver里面，filter是在Executor里面task运行如果RDD有中3个分区，分别在不同的executor中，那么eventTypeList需要存储3份在实际的开发中，一天处理的数据量几十个GB，分区有可能很多，一个数据库对...

【ETL工具】Kettle 整合大数据平台（Hadoop、Hive、HBase）

康师傅没有眼泪

02-14

7692

目录一、Kettle整合Hadoop1、整合步骤2、Hadoop file input组件3、Hadoop file output组件二、Kettle整合Hive1、初始化数据2、 kettle与Hive 整合配置3、从hive 中读取数据4、把数据保存到hive数据库5、Hadoop Copy Files组件6、执行Hive的HiveSQL语句三、Kettle整合HBase1、HBase初始化2. HBase input组件3、HBase output组件环境 kettle 8.2 版本：kettle

Spark+Hbase 亿级流量分析实战（小巧高性能的ETL）

SmallCatBaby的博客

03-25

695

在上一篇文章大猪已经介绍了日志存储设计方案，我们数据已经落地到数据中心上了，那接下来如何ETL呢？毕竟可是生产环境级别的，可不能乱来。其实只要解决几个问题即可，不必要引入很大级别的组件来做，当然了各有各的千秋，本文主要从易懂、小巧、简洁、高性能这三个方面去设计出发点，顺便还实现了一个精巧的 Filebeat。要实现的功能就...

Hive 与 Hbase表映射（内部表与外部表），Hbase常用命令

Mogeko1的博客

11-03

3870

Hive 与 Hbase表映射（内部表与外部表），Hbase常用命令

几款开源的ETL工具及ELT初探

weixin_33770878的博客

08-01

8862

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。我们在下方列出了 7 款开源的 ET...

使用Spark对数据进行ETL并存放到HBase中流程总结

蚂蚁

08-06

2007

ETL ETL用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程使用场景要对某些日志数据文件进行分析时 ETL这一步是避免不了的因为采集到的日志数据，总会有一部分脏数据这部分脏数据可能会对后续的指标分析造成影响所以要对数据进行一些操作，将数据转换成比较有规律的我们想要的数据使用Spark对数据进行ETL操作的一些步骤总结第一...

使用kettle向HBase导入数据

最新发布

03-14

### 数据迁移概述对于大规模数据量（如一亿条记录），从关系型数据库MySQL迁移到NoSQL存储系统HBase是一项复杂而重要的任务。为了确保高效、稳定的数据传输，通常会采用多种技术手段相结合的方式完成这一过程[^1]。 ### 方案选择依据考虑到不同场景下的需求差异，在实际操作过程中可以根据业务特点选取合适的工具和技术栈来实现数据同步目标： - **实时性要求不高**：可以考虑批量处理方式； - **对延迟敏感的应用环境**：则更适合流式计算框架来进行增量更新； ### 方法介绍 #### 批量加载模式利用ETL(Extract, Transform, Load)工具如DataX能够有效地将源表中的全量数据抽取并写入至目的端HBase集群中。这种方式适用于一次性初始化或者周期性的大批量导入作业[^2]。 ```python from datax import DataX job_config = { "job": { "content": [ { "reader": {"name": "mysqlreader", ...}, "writer": {"name": "hbasewriter", ...} } ] } } dx = DataX(job_config) result = dx.start() print(f"Job finished with status {result}") ``` #### 流式处理机制借助Apache Flink等分布式流处理器件，通过监听MySQL binlog日志变化事件触发相应的变更捕获动作，并即时转发给下游消费者即HBase实例执行最终持久化操作。此法能较好地满足低延时诉求的同时保持两端一致性水平[^3]。 ```java // Java伪代码展示Flink连接器配置片段 FlinkKafkaConsumer<String> mySqlBinLogSource = new FlinkKafkaConsumer<>( topic, new SimpleStringSchema(), properties); DataStream<String> stream = env.addSource(mySqlBinLogSource); stream.process(new HBaseWriteFunction()).setParallelism(parallelismDegree).addSink(...); ``` #### Python脚本驱动针对某些特定应用场景下可能存在的定制化需求，也可以编写专门的Python应用程序负责协调整个流程控制逻辑，包括但不限于预处理阶段的任务调度安排以及事后验证环节的质量检查工作等。 ```bash #!/usr/bin/env python3 import mysql.connector as mc from happybase import ConnectionPool def migrate_data(): try: # 连接设置省略... sql_query = 'SELECT * FROM source_table' hbase_row_key_format = '{id}' with connection_pool.connection() as conn: batch_size = 1000 cursor.execute(sql_query) while True: rows = cursor.fetchmany(batch_size) if not rows: break table.put([dict(zip(columns, row)) for row in rows], column_family='cf:', timestamp=int(time.time()*1e6), wal=True) if __name__ == '__main__': migrate_data() ``` ### 性能考量因素当评估上述任一种策略优劣之时，除了关注吞吐率指标之外还应充分重视其他方面的影响要素，比如网络带宽消耗状况、磁盘I/O压力分布情况等等。此外，Phoenix作为构建于HBase之上的SQL层解决方案提供了更为便捷高效的查询接口支持，因此值得特别留意其相对于传统API调用所带来的潜在优势。