
spark
CTRL+CV.
从此专心打码,哪怕风吹雨打。
展开
-
spark提交作业到yarn队列报错:hadoop.yarn.exceptions.YarnException
报错详情:Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User amrcloud does not have permission to submit application_1585639257391_0011 to queue default at org.apache.hadoop.ya原创 2020-07-08 15:46:30 · 3847 阅读 · 0 评论 -
HDP3.1中spark2.3无法读取Hive3.0数据
通过Ambari2.7安装好HDP3.1后,发现在spark-sql中无法读到hive命令行创建的数据库和表。后来查了网上资料,发现hive 3.0之后默认开启ACID功能,而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能,因此无法读取ACID表的数据。然后修改了hive-site.xml配置文件里的相关配置项:hive.strict.managed.ta...原创 2019-08-20 15:54:29 · 3668 阅读 · 1 评论