orc文件写入+GC调优+java多线程+java静态类

最新推荐文章于 2024-06-18 16:10:07 发布
原创 最新推荐文章于 2024-06-18 16:10:07 发布 · 729 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java 多线程 orc

本文将对作者多年的技术实践经验进行总结,包括自定义Flume Sink实现数据直写Hive表、解决并发程序中出现的内存溢出问题、并发及静态类概念解析、HDFS fs.automatic.close配置问题以及HDFS租约模型探讨。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

好久没总结，说来惭愧，做了4年的开发，但是对于基础的概念总结还是很不完善，最近有可以写的东西，先做个引子和总结，等有空来写。

1. flume自定义sink，用于写orc文件，直接挂到hive表上，相当于直接入库了。

2. 并发程序中出现OOM的调优过程

3. 并发概念总结

4. 静态类的概念总结

5. fs.automatic.close配置引起的乌龙

6. hdfs的租约模型(dfsClient相关的方法)

[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
写ORC 格式文件，HIVE 工具类
11-16
写ORC 格式文件的工具类，可以用于写hive orc 的格式，
hive orc write引发oom
qq_31381053的博客
01-15 1844
起因 使用datax从mongo导出到格式为orc的hdfs文件过程中，报了oom： 2021-01-09 00:05:02.038 [5358205-0-0-writer] ERROR WriterRunner - Writer Runner Received Exceptions: java.lang.OutOfMemoryError: Java heap space at org.apache.orc.impl.DynamicByteArray.grow(DynamicByteArray.java:
问题整理
半日闲的博客
08-28 499
在运行过程中，占用物理内存过大，导致container被yarn kill hive.exec.orc.zerocopy=true;
Orc文件格式定义和数据写入
swg321321的博客
07-19 1166
大数据平台使用ORC文件，中定义ORC文件格式，和数据写入示例。其中包含List，MAP，STRUCT，DECIMAL等格式。一般作为Hive数据存储的格式。
csv、parquet、orc读写性能和方式
u013560925的博客
03-11 7561
索引：1.背景2.存储方式3.存储效率4.读写方式5.结论6.其他格式背景     最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个spark submit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件，但是csv作为毫无压缩的文本存储方式显然有些性能不够，所以想要寻找一个存储文件效率更高或者执行效率...
Java读取ORC文件的内容
weixin_42001459的博客
05-09 6493
import java.util.List; import java.util.Properties; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hiv...
如何使用Apache ORC优化数据质量管理
AI天才研究院
12-26 963
1.背景介绍 Apache ORC(Optimized Row Column)是一种高效的列式存储格式，主要用于大数据处理系统中的数据存储和查询。它通过将数据存储为列而非行，从而减少了磁盘I/O和内存使用，从而提高了查询性能。在大数据领域，数据质量管理是一个重要的问题，因为低质量的数据可能导致错误的分析结果和决策。因此，使用Apache ORC可以帮助我们更有效地管理数据质量。 在本文中，我们...
hive参数优化-----亲测有效
lcm_linux的博客
01-15 3706
hive查询的时候，导致服务器负载过高，load值飙升，服务器CPU是8个，按理说load不超过8，都应算ok的，但是，hive在部署完后没有调参，导致在执行过程中，load值达到了7.8以上，服务器连接出现问题，因此想到了调参，现在整理如下： 本次查询所用测试语句为： select util_lnadw21ifj1579078492403.e2467e8ab37945a3869c6d309......
大数据性能调优总结
沧海一粟的博客
03-30 5773
目录 12.1配置原则 如何发挥集群最佳性能 影响性能的因素 12.2Manager 12.2.1提升Manager配置服务参数的效率 12.2.2根据集群节点数优化Manager配置 12.3HBase 12.3.1提升BulkLoad效率 12.3.2提升连续put场景性能 12.3.3Put和Scan性能综合调优 12.3.4提升实时写数据效率 ...
2024大数据面试题汇总(完善中。。。)
最新发布
为人性僻 语不惊人
06-18 2511
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
大数据java操作hive
11-01
此文档为学习大数据笔录的一些基础配置，能够让你从知道如何用java去操作hive
【大数据下的LightGBM】：Java中的内存优化与处理技巧
[【大数据下的LightGBM】：Java中的内存优化与处理技巧](https://i0.wp.com/innovationyourself.com/wp-content/uploads/2023/10/Screenshot-2020-10-21-at-18.12.57.png) # 1. LightGBM算法概述及其重要性 ## 1.1 ...
hive参数调优汇总
热门推荐
qq_18838991的博客
07-04 1万+
参考：http://blog.youkuaiyun.com/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral 1.设置合理solt数 mapred.tasktracker.map.tasks.maximum  每个tasktracker可同时运行的最大map task数，默认值2。
ORC文件存储格式和数据写入过程
半日闲的博客
05-16 8541
文章目录ORC 文件格式，配置参数及相关概念ORC 文件格式UML类图OrcFile writer 创建OrcFile Writer 配置参数相关概念动态数组 DynamicIntArray 和 DynamicByteArray初始化chunk 扩容OrcFile writer的 write()方法 写数据WriterImpl addRow程序入口StringTreeWriter : void w...
基于flume框架的ORCSink开发中遇到的坑（一）
lilyjoke的专栏
08-02 2033
最近做了一个基于flume 1.7 的sink，用于写hdfs orc文件，中间遇到了几个坑，下面把思路和遇到的问题一一记录下来。 1. 开发思路 首先的实现场景是这样的：从channel拿数据-->sink拿到数据后做分类-->分类后将数据写入对应的orc文件->文件关闭。技术要点是这样： 1.1  线程池管理hdfs操作 在分类写orc文件这环节，我开了两个线程池，一...
Hive Streaming 追加 ORC 文件
weixin_33816821的博客
12-07 136
1.概述 　　在存储业务数据的时候，随着业务的增长，Hive 表存储在 HDFS 的上的数据会随时间的增加而增加，而以 Text 文本格式存储在 HDFS 上，所消耗的容量资源巨大。那么，我们需要有一种方式来减少容量的成本。而在 Hive 中，有一种 ORC 文件格式可以极大的减少存储的容量成本。今天，笔者就为大家分享如何实现流式数据追加到 Hive ORC 表中。 2.内容 2.1 ORC...
Hive-ORC文件存储格式
weixin_30279671的博客
05-31 818
　　ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。 一、ORC文件格式 　　ORC的全称是(Optimized Record Colum...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值