登录
source /opt/client/bigdata_envkinit admin或者kinit user1
修改hosts文件
内容如下:
192.168.171.71 hw003
192.168.171.61 hw002
idea相关配置
在com.huawei.bigdata.hdfs.examples.HdfsExample类中有实例代码,修改变量PRNCIPAL_NAME为当前集群的用户名,同时将文件user.keytab拷贝到conf文件夹中。
在导入FusionInsight_Cluster_1_HDFS_Client\FusionInsight_Cluster_1_HDFS_ClientConfig\HDFS\hdfs-example-security项目时,如果遇到相关的jar包导入不进来,需要在目录中进行寻找,并导入。
hive
- 使用客户端
beeline - 创建数据表:
create table sales (transactionId int, customerId int, itemId int, amountPaid double) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE tblproperties("skip.header.line.count"="1") ; - 从hdfs中导入数据到这个数据表中:
load data inpath '/tmp/ddy/sales.csv' into table sales; - 查看数据表内容:
select * from sales; - 查看到刚才创建的数据库:
hdfs dfs -ls /user/hive/warehouse/ddy_hive.db - 查看刚才的导入的数据表:

Hadoop集群登录与Hive数据操作
本文介绍如何在Hadoop集群上进行登录配置,包括kinit认证、hosts文件修改及IDEA环境搭建。此外,还详细展示了通过beeline客户端创建Hive表、从HDFS导入数据以及数据查询的操作过程。
1522

被折叠的 条评论
为什么被折叠?



