bit1129的博客

 1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建保存为parquet格式的数据表   hive> CREATE TABLE parquet_table(age INT, name STRING)STORED AS PARQUET; ...

1.关于Spark SQL操作Parquet 因为Parquet文件中包含了Schema信息，也就是说，Parquet文件是Schema自解释的，因此Spark SQL操作Parquet时，不需要指定Schema，因为Spark SQL可以根据Parquet文件中的Schema信息，解析出Parquet文件对应的SQL Schema 本文中的idAndName.parquet内容如下：从中...