weixin_41290471的博客

场景： 1、hive on spark 2、开启了动态资源分配（set spark.dynamicAllocation.enabled = true） 结果/报错日志： 21/01/06 05:09:35 WARN cluster.YarnClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and ha...

报错如下： 原因：代码里设置的master与yarn提交冲突 解决方式：把本地测试配置master的local[ n ] 注掉 ```java ERROR yarn.ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromis

Hive引擎替换为Spark（Hive on Spark）1、背景2、Hive引擎选择3、三种引擎如何切换引擎？4、hive on spark配置集群模式5、hive on spark参数调优6、结束语 1、背景 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的 查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的

给定数据如下： 班级ID 姓名 年龄 性别 科目 成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50 12 李四 20 男 math 50 12 李四 20 男 english 50 12 王芳 19 女 chinese 70 12 王芳 19 女 math 70 12 王芳...

一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...

  错误如下：   字面意思理解   解决方式： 累加器isZero返回true

最近在搞ES+spark的时候出现了如下问题： Multiple ES-Hadoop versions detected in the classpath; please use only one 19/08/14 05:03:53 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 12.0 (TID 632, datanode003...