- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark常见算子合集
spark算子合集在对rdd进行操作之前我们首先需要对rdd进行初步的了解rdd的五大特性RDD 是 Resilient Distributed Dataset 也就是我们常说的弹性分布式数据集至于何为弹性，何为分布式 就需要看我们接下来的内容了特性一有很多分区：每个rdd中都包含很多个分区 每个分区都会对应一个task 也就是说分区的数量决定了任务并行计算粒度 我们可以在创建rdd时来指定分区 也可以通过后续介绍的一些算子来进行分区的调整 而默认的分区数量便是我们在建立c
2021-11-17 19:06:29
1515
原创 hive基础操作合集
Hive 基本概念什么是hivehive是一个基于Hadoop的数据仓库工具 可以将结构化的数据映射为一张表并且提供类sql 查询功能hive的本质其实是将hql转化为MR程序hive的特点优点避免了去写MapReduce，减少开发人员的学习成本Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数缺点Hi.
2021-10-30 11:04:52
1353
原创 java常见设计模式
title: java常见设计模式tags: javacover: /img/image-20210722094649829.png单例模式单例模式确保某个类只有一个实例，而且自行实例化并向整个系统提供这个实例。在计算机系统中，线程池、缓存、日志对象、对话框、打印机、显卡的驱动程序对象常被设计成单例。总之，选择单例模式就是为了避免不一致状态，避免政出多头。特点1、单例类只能有一个实例。 2、单例类必须自己创建自己的唯一实例。 3、单例类必须给所有其他对象提供这一实例。实现方式饿汉.
2021-10-26 16:47:45
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人