对接FusionInsight HD 6.5.1

本文介绍如何在Hadoop集群上进行登录配置,包括kinit认证、hosts文件修改及IDEA环境搭建。此外,还详细展示了通过beeline客户端创建Hive表、从HDFS导入数据以及数据查询的操作过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

登录

  1. source /opt/client/bigdata_env
  2. kinit admin或者kinit user1

修改hosts文件

内容如下:

192.168.171.71 hw003
192.168.171.61 hw002

idea相关配置

com.huawei.bigdata.hdfs.examples.HdfsExample类中有实例代码,修改变量PRNCIPAL_NAME为当前集群的用户名,同时将文件user.keytab拷贝到conf文件夹中。
在导入FusionInsight_Cluster_1_HDFS_Client\FusionInsight_Cluster_1_HDFS_ClientConfig\HDFS\hdfs-example-security项目时,如果遇到相关的jar包导入不进来,需要在目录中进行寻找,并导入。

hive

  1. 使用客户端beeline
  2. 创建数据表:create table sales (transactionId int, customerId int, itemId int, amountPaid double) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE tblproperties("skip.header.line.count"="1") ;
  3. 从hdfs中导入数据到这个数据表中:load data inpath '/tmp/ddy/sales.csv' into table sales;
  4. 查看数据表内容:select * from sales;
  5. 查看到刚才创建的数据库:hdfs dfs -ls /user/hive/warehouse/ddy_hive.db
  6. 查看刚才的导入的数据表:
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值