将本地文本文件上传到HDFS上,然后导入hive/impala对应表中

本文档介绍了如何将本地UTF-8格式的文本文件,通过Xshell上传到HDFS,然后在Hive和Impala中创建对应的表结构,以及可能遇到的字段分隔符问题和解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.本地文本文件上传前的准备

将文本保存为"uft-8"格式,并用"|"进行字段间的分割(个人习惯,可以选用其它符号,但要避免和编程语言产生冲突,Hive默认的字段分隔符为ascii码的控制符\001)。

2.将文本文件通过Xshell上传到HDFS上

(1)首先要新建(Alt+N)一个连接,主要填写主机IP,其他根据自己的需要填写。确定之后,打开(Alt+O)刚刚建立的连接,输入用户名和密码,这样就连上了你的服务器了。

(2)新建文件传输(Ctrl+Alt+F),将你的本地文本文件复制到相应的文件夹中,比如我将tbl_adrs_code.txt放在了/home/sjz/dataclean/data下。

(3)输入HDFS命令并执行:

hdfs dfs -put /home/sjz/dataclean/data/tbl_adrs_code.txt /data_clean
(/home/sjz/dataclean/data/tbl_adrs_code.txt是输入文件的路径,data_clean是dhs上的目标文件夹,文件夹需要建好哦,在目标文件夹前要"/",不然会出错:put:'data_clean':No such file or directory)此时你的文件已经复制到dfs上了。

3.在hive/impala上建立对应的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值