- 博客(10)
- 收藏
- 关注
RSS订阅原创 2024最新Spark核心知识点总结
转换(transformations) ：从已经存在的数据集中创建一个新的数据集，会创建一个新的RDD，例如map操作，会把数据集的每个元素传给函数处理，并生成一个新的RDD，常见如：Map,Filter,FlatMap,GroupByKey,ReduceByKey,Join,Sort,PartionBy。血缘容错：血缘容错记录了较粗粒度的操作：例如filter、map、join，当rdd的部分分区数据丢失的时候，可以通过血缘来重新运算以及恢复丢失的分区。persist机制：将结果写入磁盘。
2024-01-25 11:04:40
1626
原创 Java反射机制总结
Java的反射机制是在运行状态中，对于任意一个类，都能够获得这个类的所有属性和方法；对于任意一个对象，都能够调用它的任何方法和属性。这种动态获取类的信息以及动态调用方法的功能称为Java语言的反射(reflection)机制。动态获取类或者对象的信息(属性和方法)，以及动态操作对象的属性和方法的类，动态分析和使用类的信息的类。注：动态是指在java运行状态。
2023-12-27 14:51:03
956
1
原创 ubuntu安装Redis图形化界面another-redis-desktop-manager
.生成一个适合你的列表项目项目项目项目1项目2项目3 计划任务 完成任务创建一个表格一个简单的表格是这么创建的：使用居中使用居左使用居右SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：一个具有注脚的文本。1Markdown将文本转换为 HTML。您可以使用渲染LaTeX数学表达式 KaTeX:Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\foralln\in\mathb
2023-10-11 16:15:53
484
原创 Springboot项目集成Kafka实现Hbase数据插入
springboot项目集成kafka、redis以及hbase,实现key的自增，kafka的消费，以及数据的保存
2022-11-21 10:26:16
1071
原创 Flume知识点总结
1.Flume事务Put事务流程：doPut: 将数据先写入临时缓冲区putList doCommit: 检查channel队列是否足够合并 doRollback: 若内存队列空间不够，回滚数据Take事务：doTake: 将数据取到临时缓冲区takeList,并将数据发送到HDFS doCommit: 如果数据全部发送成功，则清除临时缓冲区takeList doRollback: 数据发送过程中如果出现异常，rollback将临时缓冲区内的数据还给channel内存队列...
2022-04-11 21:25:07
405
原创 Spark高频面试题
Spark高频面试题1.Spark Streaming和Flink的区别？下面我们就分几个方面介绍两个框架的主要区别：1）架构模型Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、Taskmanager和Slot。2）Flink 是标准的实时处理引擎，基于事件驱动。而 Spark Streaming 是微批（Micro-Batch）的模型。3）时间机制Spark Streaming
2022-04-11 16:24:31
5412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人