- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark任务调度失败记录
场景：1、hive on spark2、开启了动态资源分配（set spark.dynamicAllocation.enabled = true）结果/报错日志：21/01/06 05:09:35 WARN cluster.YarnClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and ha...
2021-01-06 15:50:08
1178
原创 ERROR: Couldn‘t connect to Docker daemon at http+docker://localunixsocket - is it running?
ERROR: Couldn't connect to Docker daemon at http+docker://localunixsocket - is it running?If it's at a non-standard location, specify the URL with the DOCKER_HOST environment variable.some error with build docker envdocker守护进程启动的时候，会默认赋予名为docker的用户组
2020-10-20 20:04:49
914
原创 spark报错ERROR yarn.ApplicationMaster:
报错如下：原因：代码里设置的master与yarn提交冲突解决方式：把本地测试配置master的local[ n ] 注掉```javaERROR yarn.ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromis
2020-06-19 21:38:10
4268
原创 Hive引擎替换为Spark（Hive on Spark）
Hive引擎替换为Spark（Hive on Spark）1、背景2、Hive引擎选择3、三种引擎如何切换引擎？4、hive on spark配置集群模式5、hive on spark参数调优6、结束语1、背景Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的 查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的
2020-05-18 22:44:39
12695
原创 Multiple ES-Hadoop versions detected in the classpath; please use only one
最近在搞ES+spark的时候出现了如下问题：Multiple ES-Hadoop versions detected in the classpath; please use only one19/08/14 05:03:53 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 12.0 (TID 632, datanode003...
2019-08-14 21:41:21
2499
原创 ES初探之——shard和replica
ES中shard和replicaindex包含多个shard每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力增减节点时，shard会自动在nodes中负载均衡primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的replica shard中，不可能存在于多个pr...
2019-05-18 17:47:07
6762
原创 copyAndReset must return a zero value copy（Spark2.*累加器报错）
错误如下： 字面意思理解 解决方式：累加器isZero返回true
2019-01-08 20:06:23
491
原创 Java实现单链表（超简单版）
首先创建一个节点类public class Node { Node next =null; int data; public Node(int data) { this.data = data; }}然后再写一个单链表类public class SingleLinkedList{ Node head= null;...
2018-12-16 21:00:31
1591
2
原创 Kafka相关问题（面试常问）
kafka相关问题kafka在高并发的情况下,如何避免消息丢失和消息重复?消息丢失解决方案:首先对kafka进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后Kafka设置acks=all，即需要相应的所有处于ISR的分区都确认收到该消息后，才算发送成功消息重复解决方案:消息可以使用唯一id标识生产者（ack=all 代表至少成功发送一次)消费者 （offs...
2018-11-29 15:03:54
1280
原创 Hive和Hbase区别（Hadoop面试题）
1、Hadoop架构Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块： 、Hadoop Common：支持其他Hadoop模块的基础工具。 、Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据...
2018-11-09 20:26:57
756
转载 Spark面试题、答案
一、简答题1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...
2018-11-03 20:27:31
1821
原创 sparkRDD练习题
给定数据如下：班级ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳...
2018-11-03 11:20:38
4574
原创 hadoop三种模式配置
hadoop面试题和资料详解：https://blog.youkuaiyun.com/wypersist/article/details/80262303 hadoop的背景？ apache发行版本大致：1.x 和 2.x 和 3.x 提公司：apache ： 原生cloudar公司 : cdhhortworks公司提供 : hdpmapR华为星环 ...
2018-09-13 20:18:47
370
原创 抽象类和抽象方法
摘自牛客网总结含有abstract修饰符的class即为抽象类，abstract类不能创建的实例对象。含有abstract方法的类必须定义为abstract class，abstract class类中的方法不必是抽象的。abstract class类中定义抽象方法必须在具体(Concrete)子类中实现，所以，不能有抽象构造方法或抽象静态方法。如果的子类没有实现抽象父类中的所有抽象方法，那么...
2018-08-12 19:46:26
1955
原创 java代码执行顺序（附带程序）
/* * 静态代码块儿:随着类的加载而加载,在整个程序的过程中只执行一次.执行顺序优先有main * 构成: static+{代码} * 构造代码块儿:随着对象的加载而加载,每次创建对象都会执行一次,执行顺序优先于构造方法 * 构成:{代码} */public class Demo8 { static { System.out.print("a"); }...
2018-08-04 20:16:23
515
转载 JAVA基本数据类型和引用数据类型区别
一、基本数据类型：byte：Java中最小的数据类型，在内存中占8位(bit)，即1个字节，取值范围-128~127，默认值0short：短整型，在内存中占16位，即2个字节，取值范围-32768~32717，默认值0int：整型，用于存储整数，在内在中占32位，即4个字节，取值范围-2147483648~2147483647，默认值0long：长整型，在内存中占64位，即8个字节...
2018-07-31 11:47:14
2138
原创 java判断是否为回文（超简单版）
//一个5位数，判断它是不是回文数。即12321是回文数，个位与万位相同，十位与千位相同。//思路：打印输入数的reverse，与输入数比较//如：输入1234 给他自定义函数拼接成4321 如1234根据函数自定义judge拼接完后不等于4321则不是回文public static void main(String[] args) { System.ou...
2018-07-29 18:19:52
9202
2
转载 JAVA之——经典算法50题
转载请注明出处:http://blog.youkuaiyun.com/l1028386804/article/details/51097928JAVA经典算法50题【程序1】 题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？1.程序分析：兔子的规律为数列1,1,2,3,5,8,13,21.......
2018-07-29 11:11:46
250
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人