excel文件导入hive

最新推荐文章于 2024-06-17 16:14:13 发布

原创最新推荐文章于 2024-06-17 16:14:13 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#excel #hive

分析同时被 3 个专栏收录

5 篇文章

订阅专栏

大数据

5 篇文章

订阅专栏

数据库

4 篇文章

订阅专栏

本文详细介绍了一种将Excel数据转换并导入Hive数据库的方法，包括文件格式转换、编码调整、表结构创建及数据加载过程，确保数据完整性和正确性。

步骤一：将excel另存为txt文档（文本文件（制表符分割））假设名字为CompanyCode.txt 步骤二，将该txt文件导入Linux指定目录中
步骤三，转换编码格式，在指定目录下执行如下命令：piconv -f gb2312 -t UTF-8 CompanyCode.txt > c.txt
步骤四，根据文档中的列，创建表，建表语句如下： hive> create table CompanyCode ( > CCN String, > Subsidiary String, > SaleArea String, > region String, > CorporateName String, > CorporateNameIT String, > Remarks String) > ROW format delimited > fields terminated by ‘\t’ > STORED AS TEXTFILE;
步骤五：将c.txt文件加载到hive表CompanyCode中 hive> load data local inpath ‘/home/hadoop/c.txt’ into table CompanyCode; Loading data to table default.companycode Table default.companycode stats: [numFiles=1, totalSize=3711] OK Time taken: 0.826 seconds
步骤六：验证 hive> select * from CompanyCode;
注意观察： 1. 验证数据是否上传成功 2. 若没有数据，查看所有数据是否都保存在第一列 3. 有数据，是否正常，是否出现串列现象