Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上

最新推荐文章于 2025-05-03 10:29:55 发布

快乐骑行^_^

最新推荐文章于 2025-05-03 10:29:55 发布

阅读量685

点赞数

分类专栏：大数据文章标签： Java系列 Hive表 parquet格式 Kerberos认证 HDFS上

本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/122634965

版权

大数据专栏收录该内容

551 篇文章 ¥49.90 ¥99.00

订阅专栏

该博客详细介绍了如何在Java中处理Kerberos认证的HDFS集群，包括添加相关依赖、设置Kerberos登录信息、配置Hadoop集群、创建Hive表结构、生成HDFS路径、设置Parquet参数，并提供了完整代码示例，最终成功将Hive表数据以Parquet格式保存到HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上

一、hive表结构
二、pom.xml添加依赖
三、登陆Kerberos认证的HDFS集群所需信息
四、代码设置Kerberos登陆信息
五、设置hadoop集群信息
六、设置Kerberos认证和Hadoop集群信息完整代码
七、设置Hive表结构
八、获取上个小时时间生成hdfs路径
九、设置parquet参数
十、添加需要存储到hive表数据
十一、把Hive表数据以parquet格式保存到Kerberos认证的HDFS上完整详细注释代码
十二、运行程序查看HDFS路径和hive表数据

成功把Hive表数据以parquet格式保存到Kerberos认证的HDFS上

hdfs dfs -ls /optics/dwh/optics_prod/optics_order/datetime=2022012210
Found 1 items
-rw-rw----+  3 optics hadoop   919 2022-01-22 11:14 /optics/dwh/optics_prod/optics_order/datetime=2022012210/1642821279811.parquet

一、hive表结构

CREATE EXTERNAL

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

快乐骑行^_^

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

使用Kerberos认证的HDFS将Hive表数据保存为Parquet格式的文章

JieLun_C的博客

08-13

176

在本文中，我们介绍了如何使用Kerberos认证的HDFS和Hive将表数据保存为Parquet格式。接下来，我们将使用Hive提供的内置函数和命令行工具实现将表数据保存为Parquet格式的操作。现在，我们可以使用INSERT INTO语句将数据从源表(example_table)保存到目标表(example_table_parquet)中，并以Parquet格式存储。完成以上步骤后，我们就成功地将Hive表数据保存为Parquet格式，并存储到了使用Kerberos认证的HDFS上。

java 读写Parquet格式的数据的示例代码

08-29

本篇文章主要介绍了java 读写Parquet格式的数据的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

参与评论您还未登录，请先登录后发表或查看评论

parquet文件上传到hdfs_从HDFS位置通过Spark阅读Parquet Parquet

weixin_30069911的博客

02-08

414

我正在使用Spark工作 .我的群集有一个名为/ user / cloudera / omega / mdp /由transdate分区的HDFS目录 . 分区目录中的所有文件都是镶木地板文件 .我还有一个名为“mdp”的hive表指向那些镶木地板文件 .基本上我的要求是阅读这些镶木地板文件并使用一些逻辑进行一些处理并将处理后的数据存储在另一个HDFS位置 .我试图通过使用sqlContext的s...

Parquet文件测试（一）——使用Java方式生成Parqeut格式文件并直接入库的Hive中

LmingAn的博客

12-19

2890

验证Parquet格式的操作验证目标 Parquet格式是否可以直接将上传到Hdfs中的文件，加载到目标数据表中（Hive）。将无结构化数据转成Parquet格式文件，并上传到Hdfs中。使用datax工具同步数据（将指定Parquet文件同步到Hive中）。创建测试表表信息如下(注意stored as parquet默认为orcfile)：建表语句如下： create table parquet_test ( name string, age int ) comment 'p

spark通过jdbc的方式连接hive，输出为parquet

qq_36231887的博客

09-18

565

首先，我用的是下列方式来连接hive： def main(args: Array[String]): Unit = { Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance() val conf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[*]") ...

写hive可识别的parquet文件

xinda77的专栏

03-27

745

鉴于网上关于java写parquet文件的代码，hive不可识别，特意做了对应demo，有需求的可以自行拿去。 public class WriteParquetFile1 { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(); ...

利用大数据领域 Hive 进行实时数据监控

最新发布

AI天才研究院

05-03

1177

在数字化转型时代，企业对业务数据的实时性要求日益提升。实时数据监控作为保障数据质量、业务稳定的关键环节，广泛应用于电商（订单漏单监控）、金融（交易异常检测）、物联网（设备状态预警）等领域。传统实时监控多依赖Kafka+Flink等流处理框架，但Hive作为大数据领域的经典数据仓库工具，通过优化（如LLAP、小文件治理）可实现分钟级准实时监控，弥补批处理与流处理间的能力 gap。本文聚焦Hive在分钟级准实时监控场景的应用，覆盖原理、优化、实战全流程。核心概念：解析Hive架构与实时监控的冲突点及优化方向；

Hive2.x系列驱动，

07-06

标题 "Hive2.x系列驱动" 指的是Hive版本2.x的客户端连接器，这些驱动程序使得应用程序能够与Hive服务器进行交互，执行SQL查询并获取数据。Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL语言处理存储在HDFS...

利用CURL命令调用WebHDFS REST API与Kerberos机制

tanzhangwen的专栏

09-26

9059

1. CURL安装 cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。CURL官方网站：http://curl.haxx.se/ 1.1 Linux安装这个网上资料比较多，只要搜索“curl 安装 linux”就应该有不少介绍。 1.

使用java操作Parquet文件

翱翔-蓝天

12-01

1508

Parquet是一个强大的列式存储格式，适用于大数据场景，能够高效地进行数据压缩、查询和存储。它特别适合需要高性能查询、大规模数据处理和支持复杂数据结构的应用场景。使用 Apache Spark、Hive 或其他大数据框架时，Parquet 常常是首选的文件格式。使用 Apache Spark 读取和写入 Parquet 文件非常简单，通过 Spark SQL API，可以轻松地将数据处理流程集成到 Parquet 格式中，从而充分利用 Parquet 在大数据存储和查询中的优势。

写ORC 格式文件，HIVE 工具类

11-16

写ORC 格式文件的工具类，可以用于写hive orc 的格式，

Iceberg读写Parquet文件Kerberos认证问题

qq_20834437的博客

07-06

685

使用Iceberg读取Kerberos认证的HDFS集群上的Parquet数据，导致的Kerberos认证问题

hive中的数据导入到hdfs或者本地文件的方式包括sqoop

xia1140418216的博客

12-08

4562

把hive中的数据导入到hdfs或者本地文件的方式 1、通过insert…directory方式导出数据到本地文件 insert overwrite local directory '/opt/datas/hive/exp_hive' select * from emp ; insert overwrite local directory '/opt/datas/hive/exp_hive2' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select

Java向Parquet文件写数据代码示例

sx157559322的博客

07-28

1786

背景在生产环境种数据量每天达到上亿,需要增量存放在hive对应分区种,纯文本数据占用存储还是比较大的,所以存储紧张的情况下需要使用Parquet存储格式去存储数据,下面将给出两个示例,一个是往本地Parquet文件写入数据,一个是往HDFS Parquet文件上写入数据。往本地Parquet文件写入数据示例package com.htsc; import org.apache.hadoop....

Flink接收kafka数据根据event time存储到相应目录文件并以parquet文件格式存储到HDFS

qyb1008的博客

05-27

1671

Flink接收kafka数据根据event time存储到相应目录文件并以parquet文件格式存储到HDFS需求描述系统环境概述基于BucketingSink在2.7版本以下的HDFS上实现实现思路根据event time存储到相应目录需求描述消费kafka的消息，根据数据的时间时间，将数据分小时的存入到HDFS中，如果利用textfile进行存储，将消耗大量的存储空间，并且查询也较慢，需要压缩成为parquet格式，减少空间，加快后序的处理速度。数据格式:事件时间戳\t日志数据系统环境 kafk

hive存储格式错误

weixin_44803002的博客

05-15

1294

当load数据到表中时，查询表中数据报这个错误时 Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://hadoop102:9000/warehouse/gmall/dwd/dwd_dim_date_info/date_info.txt is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [9, 48,

Parquet文件详解