harli的专栏

背景： 修改了hive表的某些字段的数据类型，如从String  -> Double ， 此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquet schema 列数据类型不兼容的问题。如： Impala —— 正在提取遇到以下错误的结果：Bad status for request TFet

一、 使用变量的方式： 和 hive 中使用方式一样，如 ${varName}案例如下：scala> spark.sql("set unit_len=8")res3: org.apache.spark.sql.DataFrame = [key: string, value: string]scala> spark.sql("set unit_flag=unit_day"

使用 hive 的函数 get_json_object， 方式：1.  指定From中的表所在是数据库名SELECT get_json_object(tableName.json, '$.jsonField') , json FROM databaseName.tableName;2. 指定表别名：SELECT get_json_object(aliasName.json, '