- 博客(16)
- 收藏
- 关注
RSS订阅原创 离线数仓建模理论
主要处理的是事实表，其实就是具有度量值的，就是可以累加的。像个数、件数、金额，这种表。我们在处理事实表的时候，我们都是要找原子操作，采用事务性试试吧来处理，他的大概步骤就是选择业务过程（就是确定那些指标是可以做的）、声明粒度（一行代表什么信息，我们要保证这个表中的粒度是最细粒度）、确定维度（用户、商品、活动、时间、地区）、确定事实（确定度量值，像件数，个数，金额这种），但事实表不是万能的，就是不能统计这种连续性指标或者说不擅长，因为他找的是原子操作，所以他擅长的是离散的这种指标的分析，所以连续的不行。
2023-06-04 16:44:46
176
原创 Yarn资源调度器之Yarn的基础架构
ResourceManager：处理客户端请求，监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。Yarn主要由ResourceManager、NodeManager、Application、Container等组件构成。Container：Container是Yarn中的资源抽象，封装了某个节点的多维度资源。NodeManager：管理单个节点的资源，处理ResourceManager的命令。
2023-05-17 15:23:27
268
原创 Hadoop之MapReduced
首先数据先从Map端写入到环形缓冲区内，写出的数据会根据分区规则进去到指定的分区，并且同时在内存中进行一个分区排序。环形缓冲区默认大小为100M，当数据写入的容量达到环形缓冲区的80%，数据开始向磁盘进行溢写，如果数据很多的情况下，会进行Nci溢写，这样在磁盘中就会产生多个溢写文件，并且保证每个溢写文件在区内是有序的，接下来在磁盘中会将多次溢写的文件归并到一个文件中，归并的过程会根据相同分区进行排序，保证归并完的文件是有序的，到此shuffle过程在Map端就完成了。4.剩下的大小是否继续进行切分。
2023-05-15 20:52:32
106
原创 java中的集合【Collection、Set、List、Map】中的一些方法 + 每个集合的优缺点
Java 什么是集合，区别又是什么，每个集合的特点又是什么，分别适合什么场景下使用。
2023-04-12 21:21:59
128
原创 java（面向对象）
1.面向过程的程序设计思想（POP）：关注的焦点是过程，也就是程序的步骤2.面向对象的程序设计思想（OOP）：关注的焦点是类，在计算机程序中，按照现实中的事物，将事物的属性特征、行为特征抽象出来，用类来表示。1.如何定义类【修饰符】 class 类名{2.如何创建对象（1）new 类名（）// 也称为匿名对象（2）类名 对象名 = new 类名();1、方法的概念方法其实就是一组代码的封，从而实现代码的重用。通常是一个独立功能的定义，方法是类中最基本的一个功能单元。2.方法的特点。
2023-03-27 19:31:11
53
原创 程序代码题（Java数组的一些相关排序算法）
/数组反转//定义一个长度为10的数组//随机产生1-100的数 然后遍历给数组赋值i++) {//反转i++) {//遍历输出i++) {
2023-03-24 20:37:34
82
原创 Java方法
（1）如果被调用方法的返回值类型是void，调用时不需要也不能接收和处理（打印或参与计算）返回值结果，即方法调用表达式==只能==直接加;(overload)：指在同一个类中，允许存在一个以上的同名方法，只要它们的参数列表不同即可，与修饰符和返回值类型无关。方法调用表达式的结果可以不接收和处理，方法调用表达式直接加;（5）把被调用的方法的最终执行结果先存放到临时空间，并结束方法。声明方法的位置：类中方法外（方法不能嵌套，只能并列存在）方法调用表达式的结果可以作为另一次方法调用的实参，
2023-03-21 19:13:10
91
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人