- 博客(10)
- 收藏
- 关注
RSS订阅原创 flink配置之：standalone配置Hadoop、HDFS、Fs状态后端，Hadoop带kerberos认证
一、背景 最近在尝试使用Flink，由于不太懂，所以找了几台测试机器搭了个集群，准备等熟悉了再用On Yarn，主要是Hadoop现在不是我负责管理，用起来不太方便。 在开发了作业运行起来过后，就出现了一个问题，就是状态后端放在哪里。In Memory可定时不行的，这个时候我已经准备把这个作业用到生产中了，要是作业足够稳定的话。为什么需要用到状态后端内，一个是因为有部分数据加载到DataStream需要较长的时间，而在这个加载的时间中，会导致作业的输出完全是错误的（其实就是有用到两张Fl...
2020-09-28 18:14:34
3023
4
原创 关于Mac Catalina 10.15无法打开jvisualvm的问题
在把我的Mac更新到15之后，各种问题不断，之前由于兼容问题，我发现jdk8已经无法正常使用，反复试用过后发现jdk11能够正常使用，所以就装了11.谁能想到，jdk11和jdk8的差别也是非常巨大，在深入学习Java的过程中，我要使用Java自带的jvisualvm，本来jdk8是自带的，但是神奇的是jdk9之后就不自带了。然后我就去官网上下载了一个。这个不难找，打开GitHub就能搜索到。...
2020-02-20 21:15:12
3441
3
原创 hadoop启动报错,mac启动Hadoop报错
报错信息如下：/data/hadoop-3.0.3/bin/../libexec/hadoop-functions.sh: line 398: syntax error near unexpected token `<'/data/hadoop-3.0.3/bin/../libexec/hadoop-functions.sh: line 398: ` done < <(...
2019-11-07 11:09:00
1792
7
原创 Scala集合 Scala map；Scala set
1、Map1.1 Java中Map回顾1.1.1 Java Map HashMap是一个散列表（数组+链表实现），他存储的内容是键值对映射，Java中的HashMap是无序的，key不能重复。1.1.2 实例import java.util.HashMap;public class JavaHashMap { public static void main...
2019-09-23 09:43:42
295
原创 Scala集合，Scala序列，Scala Seq，Array，ArrayBuffer，元组Tuple，列表，List，ListBuffer，队列QueueScala数组与JavaList的互转
1、Scala集合基本介绍1.1 有关Scala集合的几个重点 Scala同时支持不可变集合和可变集合，可变集合可以安全的并发访问。 两个主要的包：不可变集合：scala.collection.immutable。可变集合：scala.collection.mutable。 Scala默认采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本...
2019-09-22 10:41:18
4234
原创 scala illegal cyclic inheritance involving trait iterable
最近在学习spark的时候，编译Scala很简单的程序都会遇到这个问题，甚至能在命令行运行得好好地程序 ，拿到idea里面报了一对错，通过我在网上找，然后翻墙去谷歌，发现这其实是Scala自身的bug，换版本就能够解决，所以我试了以下，竟然真的解决了。之前我下载的是Scala-13.0。然后换了一个旧一点的版本12.5，一切运行正常。所以不管是正式投入使用还是学习，都不要用刚出来的版本，真的少...
2019-09-15 00:19:27
9682
原创 在maven中hadoop、spark、streaming、mlib、hive导入包冲突，provided omitted for duplicate
出现provided omitted for duplicate的主要原因是这几个包会相互交集甚至包含的关系，意思就是一个包下面的子jar包在另外一个包中也出现。比如：spark core包和spark streaming就出现大量的重复jar包，其实streaming中可以看到其实spark core已经包含在spark streaming中了甚至包含了大量Hadoop的包，都不需要再次导入...
2019-08-09 12:26:05
1825
原创 mysql查询集合查询之数据库除法、关系代数除法（优化嵌套查询）
1.除法（1）概述 除法操作一直是关系代数里面比较难理解的一个知识点，下面我将用一个简单的例子先阐述一下他的原理，让大家对他有个初步的认识。（2）引例S 属性 lesson 属性 name 语文 sam 语文 peter 语文 lucy ...
2018-10-28 23:31:07
4411
2
原创 二叉树的创建和输入算法、二叉树按层打印算法，二叉树的层序遍历，Java实现
一.二叉树的创建算法 博主之所一把这两个算法放一起，原因是这两个算法对于我们写二叉树来说太重要了，创建算法写得好的话可以省很多事儿，当然这儿的创建指的是二叉树的首次创建，大部分二叉树创建的时候需要我们输入很多节点进去。 1.二叉树输入格式 要想计算机知道我们输入的是什么意思那我们的输入就一定得有一定的格式，下面我就来介绍一种相对于来说比较简单的格式 ...
2018-10-27 20:40:58
1385
原创 mysql集合基本查询和复杂查询大全（并 交差，笛卡尔积）
一、数据库基本集合查询 首先我们创建两个表 create table R(A char(2),B char(2),C char(2)); create table S(A char(2),B char(2),C char(2)); 然后导入数据 insert into R values ('a1','b3','c2'); ...
2018-10-23 19:54:16
5664
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人