0639-6.1.1-Spark读取由Impala创建的Parquet文件异常分析

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 问题重现

• 测试环境：

1.RedHat7.4
2.CDH6.1.1
3.使用root进行操作

1.使用Impala创建Parquet表并插入数据

create table test_parquet(id int,name string) stored as parquet;
insert into test_parquet values(1,'test'),(2,'vivi');

2.使用Impala查看数据，数据显示正常。

select * from test_parquet;

3.使用CDH6.1.1中的Spark2.4访问该数据文件。

val df=spark.read.parquet("hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/hive/warehouse/test_parquet")
df.show()