- 博客(30)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink面试题整理
Flink 的 ResourceManager，针对不同的环境和资源管理平台（比如 Standalone 部署，或者YARN），有不同的具体实现。提交之后，任务的执行，其实就跟客户端没什么关系了，我们可以在客户端选择断开与JobManager的连接(分离模式)，也可以继续保持连接（附加模式）。客户端也可以随时连接到JobManager,获取当前作业的状态和执行结果，也可以发送请求取消作业论通过Web UI 还是命令行执行“flink run”的相关操作，都是通过客户端实现的。...
2022-08-17 19:17:39
923
原创 Dataset操作
/** * Dataset操作 */object DatasetApp { def main(args: Array[String]) { val spark = SparkSession.builder().appName("DatasetApp") .master("local[2]").getOrCreate() //注意：需要导入隐式转换 import spark.implicits._ val path = "file:///User..
2022-04-28 22:25:13
169
原创 DataFrame中的操作操作
/** * DataFrame中的操作操作 */object DataFrameCase { def main(args: Array[String]) { val spark = SparkSession.builder().appName("DataFrameRDDApp").master("local[2]").getOrCreate() // RDD ==> DataFrame val rdd = spark.sparkContext.textFile..
2022-04-28 22:23:38
148
原创 DataFrame中的操作操作
/** * DataFrame中的操作操作 */object DataFrameCase { def main(args: Array[String]) { val spark = SparkSession.builder().appName("DataFrameRDDApp").master("local[2]").getOrCreate() // RDD ==> DataFrame val rdd = spark.sparkContext.textFile(.
2022-04-28 22:20:18
247
原创 DataFrame和RDD的互操作
/** * DataFrame和RDD的互操作 * * 1)反射:case class 前提:事先需要知道你的字段，字段类型 * 2）编程:row 如果第一种情况不能满足你的要求（事先不知道列） * 3）选型：优先选择第一种，第二种编写麻烦，还要将schema和rdd关联起来 */object DataFrameRDDApp { def main(args: Array[String]) { val spark = SparkSession.builder()...
2022-04-28 22:17:45
280
原创 DataFrame API基本操作
package com.imooc.sparkimport org.apache.spark.sql.SparkSession/** * DataFrame API基本操作 */object DataFrameApp { def main(args: Array[String]) { val spark = SparkSession .builder() .appName("DataFrameApp") .
2022-04-28 22:15:09
238
原创 大数据集群搭建所遇问题(最重要的是各个组件必须版本匹配)
HiveHIVE insert return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误解决方案hive 插入数据的时候，不能直接运行，报错错误原因：namenode内存空间不够，JVM剩余内存空间不够新job运行所致错误提示Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_15940
2022-04-27 14:43:20
2037
原创 笔记：高效学习：深度，归纳和坚持实践
系统地学习在学习某个技术的时候，我除了会用到上篇文章中提到的知识图，还会问自己很多个为什么。于是，我形成了一个更高层的知识脑图。下面我把这这个方法分享出来。当然学习一门技术时，Go 语言也好，Docker 也好，我都有一个学习模板。只有把这个学习模板中的内容都填实了，我才罢休。这个模板如下。1.这个技术出现的背景、初衷和要达到什么样的目标或是要解决什么样的问题。这个问题非常关键，也就是说，你在学习一个技术的时候，需要知道这个技术的成因和目标，也就是这个技术的灵魂。如果不知道这些的话，那么你会看不懂这
2021-10-11 11:30:59
85
原创 4）替换空格
题目：请实现一个函数，把字符串中的每个空格替换成"%20"。例如输入“We are happy.”，则输出“We%20are%20happy.”。思路 ：该题在书上主要需要借助指针的思路，不过Java没有指针，但是Java字符串也有相应的API方法，可以指向字符串中的某一个位置，charAt();等，主要思路，先遍历数组有几个空格，然后就能知道新字符串的长度为（原字符串str的长度...
2019-06-28 00:06:41
118
原创 3）二维数组中的查找
题目：在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。思路：这个题目相对前面三题比较简单，假设该二维数组为下图（a），主要是思路上面过去，实现起来挺简单的，下面我介绍一下实现思路，有种思路是分成几部分去查找，但是会出现重叠的部分，因此可以考虑从右上角或者左上角进行比对，因为...
2019-06-27 23:30:12
128
原创 2）不修改数组找出重复的数字
本文主要记录对我对该题的解题思路及代码，方便复盘。目录 ：题目 ：在一个长度为n+1的数组里的所有数字都在1到n的范围内，所以数组中至少有一个数字是重复的。请找出数组中任意一个重复的数字，但不能修改输入的数组。例如，如果输入长度为8的数组{2, 3, 5, 4, 3, 2, 6, 7}，那么对应的输出是重复的数字2或者3。思路 ：该题有两种解法。1 . 借助一个辅助数组，将原数组的...
2019-06-27 23:10:36
144
原创 1. 找出数组中的重复数字
题目： 在一个长度为n的数组里的所有数字都在0~n-1的范围内。数组中某些数字是重复的，但是不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。例如，如果输入长度为7,的数组{2,3,1,0,2,5,3}，那么对应的输出是重复的数组2或者3。思路：从哈希表的思路拓展，重排数组：把扫描的每个数字放到对应的数字（如数字m）放到其对应的下标m的...
2019-06-26 23:46:07
277
转载 生产者消费者问题
https://blog.youkuaiyun.com/wuyangyang555/article/details/80832816
2019-05-25 15:52:50
218
原创 死锁是如何产生的以及四个必要条件
死锁的避免：银行家算法产生死锁的原因主要是：（1） 因为系统资源不足。（2） 进程运行推进的顺序不合适。（3） 资源分配不当等。如果系统资源充足，进程的资源请求都能够得到满足，死锁出现的可能性就很低，否则就会因争夺有限的资源而陷入死锁。其次，进程运行推进顺序与速度不同，也可能产生死锁。产生死锁的四个必要条件：（1）互斥条件：一个资源每次只能被一个进程使用。（2）请求与保持...
2019-05-25 15:34:18
163
转载 【深入理解JVM】：Java对象的创建、内存布局、访问定位
https://blog.youkuaiyun.com/u011080472/article/details/51321769
2019-05-25 15:06:38
145
转载 网络请求的全过程，从客户端到服务端？
https://blog.youkuaiyun.com/qq_39393899/article/details/80405979
2019-05-25 13:09:33
665
转载 synchronized和volatile（可见性与禁止指令重排序）区别，volatile详细整理，
https://www.cnblogs.com/dolphin0520/p/3920373.html（volatile详解）https://blog.youkuaiyun.com/ztchun/article/details/60778950（synchronized和volatile（可见性与禁止指令重排序）区别）
2019-05-25 12:54:04
289
原创 JVM判断引用失效，可达性分析是否可以解决循环引用。
JVM有一个回收算法是引用计数算法，每当对象被引用一次，就+1，释放一个引用就-1，当垃圾回收时，引用计数为0的对象就会被GC掉。但这个方法有个问题，就是无法解决循环引用的问题。循环引用就是对象A引用了对象B，对象B引用了对象A，构成了一个引用环。彼此都没发挥什么作用，但却不会被GC。为了解决这个问题，就有了可达性分析回收算法。可达性分析：算法中定义了几个GC Root对象，这几个ro...
2019-05-24 21:18:42
2041
原创 JavaMinoGC，Full触发条件。
GC，即就是Java垃圾回收机制。目前主流的JVM（HotSpot）采用的是分代收集算法。与C++不同的是，Java采用的是类似于树形结构的可达性分析法来判断对象是否还存在引用。即：从gcroot开始，把所有可以搜索得到的对象标记为存活对象。GC机制要准确理解Java的垃圾回收机制，就要从：“什么时候”，“对什么东西”，“做了什么”三个方面来具体分析。第一：“什么时候”即就是GC触发的...
2019-05-24 21:04:39
483
原创 Eden,suivivor,old的区别
JVM区域总体分两类，heap区和非heap区。heap区又分为：Eden Space（伊甸园）、Survivor Space(幸存者区)、Old Gen（老年代）。非heap区又分：Code Cache(代码缓存区)；Perm Gen（永久代）；Jvm Stack(java虚拟机栈)；Local Method Statck(本地方法栈)；下面我们对每一个内存区域做详细介绍...
2019-05-24 20:52:39
1054
原创 Java对象创建的过程？
判断对象是否加载、分配内存（指针碰撞或者空闲列表）、初始化为零值、设置对象头（实例是哪个类的实例、类的元信息地址、GC分代年龄等）、<init>方法。对象在内存中存储的布局可以分为3块区域：对象头，实例数据，对齐填充。对象的定位访问有：句柄和直接访问P48虚拟机遇到一条new指令时，首先先去检查这个指令参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的...
2019-05-24 16:46:21
134
转载 Java中接口与抽象类的区别
语法层面 上的区别；设计层面上的区别。http://www.cnblogs.com/dolphin0520/p/3811437.html
2019-05-24 09:05:52
106
原创 Linux安装Mysql及Mysql初次登陆遇到1045报错无法登陆解决
今天刚买腾讯云服务器，想往服务器上面部署一个项目，第一次使用，前面学习的Linux也忘得差不多，边做边学，折腾了蛮久。节约时间，这个坑以前踩过，没有记录，这次记录下来吧。下面进入正题。用的系统是CentOs7.0; （系统大同小异吧，RedHat系列的用yum, ） 先将yum源改为国内的。以阿里为例。1.先备份本低yum源mv /etc/yum.repos.d/CentO...
2019-05-13 20:20:36
1159
原创 markdown编辑器语法
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-03-18 19:13:56
186
原创 关于springboot中一些@Controller@Restroller等常用注解的整理与区别
@RestController=@COntroller+ @ReSponsebody。@Controller:控制器(注入服务)：用于标注控制层，控制后台和前段@Service：服务层(注入dao)用于标注数据访问层，@Repository(实现dao访问)@Component(吧普通pojo实例化到spring容器中，相当于配置文件中的<bean id="" class="...
2018-08-06 10:38:19
814
PHP基础开发
2017-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人