啥也不会的博客

场景spark项目，需要在写入表后，连接impala执行invalidate。需要用到hive驱动org.apache.hive.jdbc.HiveDriver 。但是在引入hive-jdbc后，spark程序启动时报错，原因是spark-sql的包与hive-jdbc中的包冲突了。解决指定排除hive-jdbc中无用的jar包。如果你只需要hive-jdbc包，可直接排除hive-jdbc依赖的所有包： <dependency> <grou.

select *,row_number() over(partition by a order by b is not null desc,c is not null desc, d is not null desc) from test.zixuan_test;select *,row_number() over(partition by a order by b desc,c desc, d desc) from test.zixuan_test;(1,null,3,4)...

1.现象beeline连hive跑任务，报错：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)除此以外没有其他详细的错误信息。如果直接到 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个类里，是找.

用Hive创建的Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。ALTER TABLE edw.dim_own_info_snp CHANGE userid user_id bigint COMMENT '用户id'查询结果：0: jdbc:hive2://hadoopcbd008098.ppdgdsl.com:2> select user_id from edw.dim_own_info_snp where dt='2020-12-28'

[ldl-dwh@utility02 ~]$ hdfs dfs -ls ./.Trash/*/data/ldldws/i_pos_offtakeFound 9 itemsdrwx------ - ldl-dwh ldl-dwh 0 2020-10-22 04:38 .Trash/201022050000/data/ldldws/i_pos_offtake/offtake_year=1952drwx------ - ldl-dwh ldl-dwh 0 202.

场景：多表join、union时，发生如下报错：Error in query: Resolved attribute(s) complex_flag_code#6549,quantity#6551L,pay_time_date#6547,sales_price#6553,oms_code#6548,retail_price#6550,promotion_sku_code#6552 missing from retail_price#6178,source_platform_code#6384,prom

昨天帮朋友分析了个问题：hive on spark场景下，使用json数据格式存储文件，使用hive自带的序列化方式。当计算引擎为mr时，可以正常读取，使用spark引擎时报错。建表语句如下：报错如下：看到这个报错，估计是序列化和反序列化方式不匹配导致的，查看日志，果然是因为找不到反序列化器。日志报错如下：解决思路：1.将hive序列化方式的jar包添加到spark的lib目录下。2.建表时使用自定义的序列化方式，并将自定义序列化方式的jar包分别放进hive和spark