H_hanwen的博客

问题描述：需要针对版本号app_version如：6.14.2，6.7.1，10.2.1进行取最大值 原先方法：max(app_version) 结论：失败原因：hive中使用max将会默认对两个字符串从左至右挨个进行比较，即进行第三位比较时发现：“1<7”,故6.14.2<6.7.1 解决方法：首先针对hive本身的函数max无法直接解决，则可以将数据...

本文主要讲述一下自己在hive中使用map join遇到的一些问题。语言过于直白，请谅解1.什么是map join？map join主要是在关联的时候使用，hive开启map join后可以将关联的小表放入内存中去执行，以此来提高脚本的运行速度 2.map join如何设置？set hive.auto.convert.join=false; --false表示关闭m...

1.spark-shell的使用：安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务1）直接打开，运行以下命令会发现无法访问hive表的数据：spark-shell --master local[2]spark.sql("show tables").show()2）将hive/conf目录下的hive-site....