orc文件写入+GC调优+java多线程+java静态类

最新推荐文章于 2024-06-18 16:10:07 发布
最新推荐文章于 2024-06-18 16:10:07 发布
阅读量728 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： java 多线程 orc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lilyjoke/article/details/81081985
本文将对作者多年的技术实践经验进行总结,包括自定义Flume Sink实现数据直写Hive表、解决并发程序中出现的内存溢出问题、并发及静态类概念解析、HDFS fs.automatic.close配置问题以及HDFS租约模型探讨。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

好久没总结，说来惭愧，做了4年的开发，但是对于基础的概念总结还是很不完善，最近有可以写的东西，先做个引子和总结，等有空来写。

1. flume自定义sink，用于写orc文件，直接挂到hive表上，相当于直接入库了。

2. 并发程序中出现OOM的调优过程

3. 并发概念总结

4. 静态类的概念总结

5. fs.automatic.close配置引起的乌龙

6. hdfs的租约模型(dfsClient相关的方法)

[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
java 回收static,java static GC 回收问题
weixin_29055699的博客
03-14 2115
java static GC 回收问题1)静态变量本身不会被回收2)静态变量所引用的对象是可以回收的。第一点大家应该没有疑问，下面我证明第２点：看下面的例子及注释。自己可以运行试一下,　注意加上-verbose:gc参数java-verbose:gcTestStaticGc//TestStaticGc.javapublicclassTestStaticGc{//ia是一个静态变量，在...
写ORC 格式文件，HIVE 工具类
11-16
写ORC 格式文件的工具类，可以用于写hive orc 的格式，
hive orc write引发oom
qq_31381053的博客
01-15 1842
起因 使用datax从mongo导出到格式为orc的hdfs文件过程中，报了oom： 2021-01-09 00:05:02.038 [5358205-0-0-writer] ERROR WriterRunner - Writer Runner Received Exceptions: java.lang.OutOfMemoryError: Java heap space at org.apache.orc.impl.DynamicByteArray.grow(DynamicByteArray.java:
问题整理
半日闲的博客
08-28 499
在运行过程中，占用物理内存过大，导致container被yarn kill hive.exec.orc.zerocopy=true;
Orc文件格式定义和数据写入
swg321321的博客
07-19 1163
大数据平台使用ORC文件，中定义ORC文件格式，和数据写入示例。其中包含List，MAP，STRUCT，DECIMAL等格式。一般作为Hive数据存储的格式。
Java读取ORC文件的内容
weixin_42001459的博客
05-09 6493
import java.util.List; import java.util.Properties; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hiv...
如何使用Apache ORC优化数据质量管理
AI天才研究院
12-26 961
1.背景介绍 Apache ORC(Optimized Row Column)是一种高效的列式存储格式，主要用于大数据处理系统中的数据存储和查询。它通过将数据存储为列而非行，从而减少了磁盘I/O和内存使用，从而提高了查询性能。在大数据领域，数据质量管理是一个重要的问题，因为低质量的数据可能导致错误的分析结果和决策。因此，使用Apache ORC可以帮助我们更有效地管理数据质量。 在本文中，我们...
hive参数优化-----亲测有效
lcm_linux的博客
01-15 3693
hive查询的时候，导致服务器负载过高，load值飙升，服务器CPU是8个，按理说load不超过8，都应算ok的，但是，hive在部署完后没有调参，导致在执行过程中，load值达到了7.8以上，服务器连接出现问题，因此想到了调参，现在整理如下： 本次查询所用测试语句为： select util_lnadw21ifj1579078492403.e2467e8ab37945a3869c6d309......
ORC文件存储格式和数据写入过程
半日闲的博客
05-16 8539
文章目录ORC 文件格式，配置参数及相关概念ORC 文件格式UML类图OrcFile writer 创建OrcFile Writer 配置参数相关概念动态数组 DynamicIntArray 和 DynamicByteArray初始化chunk 扩容OrcFile writer的 write()方法 写数据WriterImpl addRow程序入口StringTreeWriter : void w...
大数据性能调优总结
沧海一粟的博客
03-30 5772
目录 12.1配置原则 如何发挥集群最佳性能 影响性能的因素 12.2Manager 12.2.1提升Manager配置服务参数的效率 12.2.2根据集群节点数优化Manager配置 12.3HBase 12.3.1提升BulkLoad效率 12.3.2提升连续put场景性能 12.3.3Put和Scan性能综合调优 12.3.4提升实时写数据效率 ...
2024大数据面试题汇总(完善中。。。)
最新发布
为人性僻 语不惊人
06-18 2502
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
【大数据下的LightGBM】：Java中的内存优化与处理技巧
[【大数据下的LightGBM】：Java中的内存优化与处理技巧](https://i0.wp.com/innovationyourself.com/wp-content/uploads/2023/10/Screenshot-2020-10-21-at-18.12.57.png) # 1. LightGBM算法概述及其重要性 ## 1.1 ...
hive参数调优汇总
热门推荐
qq_18838991的博客
07-04 1万+
参考：http://blog.youkuaiyun.com/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral 1.设置合理solt数 mapred.tasktracker.map.tasks.maximum  每个tasktracker可同时运行的最大map task数，默认值2。
Java写本地ORC文件(Hive2 API)
Make progress step by step everyday.....
08-18 8085
Java写本地ORC文件(Hive2 API) Hive2.0以后，使用了新的API来读写ORC文件（https://orc.apache.org）。 本文中的代码，在本地使用Java程序生成ORC文件，然后加载到Hive表。 代码如下： package com.lxw1234.hive.orc; import org.apache.hadoop.conf.Configurat
Hive-ORC文件存储格式
weixin_30279671的博客
05-31 818
　　ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。 一、ORC文件格式 　　ORC的全称是(Optimized Record Colum...
采集kafka数据以orc格式写往hdfs
旺旺的博客
03-26 2624
1.需求，从kafka采集数据然后以orc格式的文件写往hdfs。然后hdfs上的表以orc格式存储，然后绑定分区可以查询出数据。 2.解决需求 1） 使用flume 采集。写完hdfs。但是无法写orc格式。 2 ) logstach 可以写往hdfs。但是无法写orc格式。 3) datax 没有用过 不知道能不能写orc 3.自己写代码实现。写一个...
java读写orc文件_使用JAVA API 解析ORC File
weixin_29258297的博客
02-26 2337
使用JAVA API 解析ORC Fileorc File 的解析过程中，使用FileInputFormat的getSplits(conf, 1)函数，然后使用 RecordReaderreader = in.getRecordReader(splits[0], conf, Reporter.NULL);解析ORCfile， 发现当ORC 文件的比较大的时候，超过256M时，不能读取所有的数据。比...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值