- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark任务调度失败记录
场景： 1、hive on spark 2、开启了动态资源分配（set spark.dynamicAllocation.enabled = true） 结果/报错日志： 21/01/06 05:09:35 WARN cluster.YarnClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and ha...
2021-01-06 15:50:08
1284
原创 ERROR: Couldn‘t connect to Docker daemon at http+docker://localunixsocket - is it running?
ERROR: Couldn't connect to Docker daemon at http+docker://localunixsocket - is it running? If it's at a non-standard location, specify the URL with the DOCKER_HOST environment variable. some error with build docker env docker守护进程启动的时候，会默认赋予名为docker的用户组
2020-10-20 20:04:49
994
原创 spark报错ERROR yarn.ApplicationMaster:
报错如下： 原因：代码里设置的master与yarn提交冲突 解决方式：把本地测试配置master的local[ n ] 注掉 ```java ERROR yarn.ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromis
2020-06-19 21:38:10
4515
原创 Hive引擎替换为Spark（Hive on Spark）
Hive引擎替换为Spark（Hive on Spark）1、背景2、Hive引擎选择3、三种引擎如何切换引擎？4、hive on spark配置集群模式5、hive on spark参数调优6、结束语 1、背景 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的 查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的
2020-05-18 22:44:39
13121
原创 Multiple ES-Hadoop versions detected in the classpath; please use only one
最近在搞ES+spark的时候出现了如下问题： Multiple ES-Hadoop versions detected in the classpath; please use only one 19/08/14 05:03:53 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 12.0 (TID 632, datanode003...
2019-08-14 21:41:21
2604
原创 ES初探之——shard和replica
ES中shard和replica index包含多个shard 每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力 增减节点时，shard会自动在nodes中负载均衡 primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的replica shard中，不可能存在于多个pr...
2019-05-18 17:47:07
6907
原创 copyAndReset must return a zero value copy（Spark2.*累加器报错）
错误如下： 字面意思理解 解决方式： 累加器isZero返回true
2019-01-08 20:06:23
548
原创 Java实现单链表（超简单版）
首先创建一个节点类 public class Node { Node next =null; int data; public Node(int data) { this.data = data; } } 然后再写一个单链表类 public class SingleLinkedList{ Node head= null;...
2018-12-16 21:00:31
1681
2
原创 Kafka相关问题（面试常问）
kafka相关问题 kafka在高并发的情况下,如何避免消息丢失和消息重复? 消息丢失解决方案: 首先对kafka进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后Kafka设置acks=all，即需要相应的所有处于ISR的分区都确认收到该消息后，才算发送成功 消息重复解决方案: 消息可以使用唯一id标识 生产者（ack=all 代表至少成功发送一次) 消费者 （offs...
2018-11-29 15:03:54
1365
原创 Hive和Hbase区别（Hadoop面试题）
1、Hadoop架构 Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。 Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块： 、Hadoop Common：支持其他Hadoop模块的基础工具。 、Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据...
2018-11-09 20:26:57
870
转载 Spark面试题、答案
一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...
2018-11-03 20:27:31
2048
原创 sparkRDD练习题
给定数据如下： 班级ID 姓名 年龄 性别 科目 成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50 12 李四 20 男 math 50 12 李四 20 男 english 50 12 王芳 19 女 chinese 70 12 王芳 19 女 math 70 12 王芳...
2018-11-03 11:20:38
4688
原创 hadoop三种模式配置
hadoop面试题和资料详解： https://blog.youkuaiyun.com/wypersist/article/details/80262303 hadoop的背景？ apache发行版本大致：1.x 和 2.x 和 3.x 提公司： apache ： 原生 cloudar公司 : cdh hortworks公司提供 : hdp mapR 华为 星环 ...
2018-09-13 20:18:47
436
原创 抽象类和抽象方法
摘自牛客网总结 含有abstract修饰符的class即为抽象类，abstract类不能创建的实例对象。含有abstract方法的类必须定义为abstract class，abstract class类中的方法不必是抽象的。abstract class类中定义抽象方法必须在具体(Concrete)子类中实现，所以，不能有抽象构造方法或抽象静态方法。如果的子类没有实现抽象父类中的所有抽象方法，那么...
2018-08-12 19:46:26
2018
原创 java代码执行顺序（附带程序）
/* * 静态代码块儿:随着类的加载而加载,在整个程序的过程中只执行一次.执行顺序优先有main * 构成: static+{代码} * 构造代码块儿:随着对象的加载而加载,每次创建对象都会执行一次,执行顺序优先于构造方法 * 构成:{代码} */ public class Demo8 { static { System.out.print("a"); }...
2018-08-04 20:16:23
566
转载 JAVA基本数据类型和引用数据类型区别
一、基本数据类型： byte：Java中最小的数据类型，在内存中占8位(bit)，即1个字节，取值范围-128~127，默认值0 short：短整型，在内存中占16位，即2个字节，取值范围-32768~32717，默认值0 int：整型，用于存储整数，在内在中占32位，即4个字节，取值范围-2147483648~2147483647，默认值0 long：长整型，在内存中占64位，即8个字节...
2018-07-31 11:47:14
2217
原创 java判断是否为回文（超简单版）
//一个5位数，判断它是不是回文数。即12321是回文数，个位与万位相同，十位与千位相同。 //思路：打印输入数的reverse，与输入数比较 //如：输入1234 给他自定义函数拼接成4321 如1234根据函数自定义judge拼接完后不等于4321则不是回文 public static void main(String[] args) { System.ou...
2018-07-29 18:19:52
9304
2
转载 JAVA之——经典算法50题
转载请注明出处:http://blog.youkuaiyun.com/l1028386804/article/details/51097928 JAVA经典算法50题 【程序1】 题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？ 1.程序分析：兔子的规律为数列1,1,2,3,5,8,13,21.... ...
2018-07-29 11:11:46
301
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人