- 博客(17)
- 收藏
- 关注
RSS订阅转载 [转]linux三剑客基本使用
Linux命令三剑客，老大awk，最擅长取列，老二sed,最擅长取行，老三grep最擅长过滤，Linux运维人员必会的三个命令.1.awkawk是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk命名:Alfred Aho Peter Weinberger和brian kernighan三个人的姓的缩写。最简单地说， AWK 是一种用于处理文本的编程语言工具。(1).awk 是一种可用于选择文件中
2022-03-02 15:38:03
234
转载 冒泡排序，选择排序，快速排序
1.冒泡排序冒泡排序（Bubble Sort） 最为简单的一种排序，通过重复走完数组的所有元素，通过打擂台的方式两个两个比较，直到没有数可以交换的时候结束这个数，再到下个数，直到整个数组排好顺序。因一个个浮出所以叫冒泡排序。双重循环时间 O(n^2)描述:比较相邻两个数据如果。第一个比第二个大，就交换两个数 对每一个相邻的数做同样1的工作，这样从开始一队到结尾一队在最后的数就是最大的数。 针对所有元素上面的操作，除了最后一个。 重复1~3步骤，知道顺序完成。代码实现:2.选择排序.
2022-03-01 16:29:08
149
原创 Hbase中RowKey的设计原则和热点问题
Rowkey设计需要遵循三个原则，即长度原则、散列原则、唯一原则。1. 长度原则 由于Rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10- 100bytes，以byte形式保存，一般设计成定长。 建议越短越好，不要超过16个字节，设计过长会降低 MemStore内存的利用率和HFile存储数据的效率。2. 散列原则 建议将Rowkey的高位作为散列字段，这样将提高数据均衡分布在每个RegionServer，以实现负载均 衡。3. 唯一原则 必须在设计上保证其唯
2022-02-28 17:32:41
1908
原创 “缓慢变化维“初认知
"缓慢变化维" : 在DIM层中,一些维度表的数据并不是固定不变的,而是会随着时间,随着批量的进行发生缓慢的变化的,这种缓慢变化的维度称作"缓慢变化维"(SCD).举例:以下为简化的用户信息维表用户可以操作账户,修改自己的uname,使得维表的uname数据发生变化,对此有以下几种解决方案;1.修改原始属性值->即修改维表里uname的值为最新值.这种情况会造成历史数据的丢失,重跑数据的情况下关联不上历史数据,生成错误的数据,并不推荐使用.2.保留原始属性值->即保留
2022-02-27 15:42:05
210
原创 数据库“三范式“简析
1.第一范式:列不可分->表的每一列都是最小的原子,不可以被再分;例:该表中,系这个属性就可以被分割,并不符合原子性的特征,因此不符合"第一范式".注意:标准的数据库建模必须在符合第一范式的前提下,符合第二范式,再符合第三范式.解决方法:对"系"列进行改造,将"系名"和"系主任"拆分成两列.2.第二范式:消除部分依赖->非主键字段完全依赖于主键,而不是主键的一部分.例:表中主键为"学号+课程号",但是"姓名","系名","系主任"只依赖于"学号",不依赖于
2022-02-25 15:53:28
779
原创 Spark中的“闭包引用“问题
spark中这个所谓“闭包”，只是看起来类似各种编程语言中的闭包,而本质上根本不是一回事; spark中的这个“闭包引用”,其实是Driver把分布式算子中引用的外部变量序列化后，发送给每个task来使用(闭包引用的目标对象必须是可序列化的即实现了Serializable接口,而且数据量不能太大,否则会增加Task中的内存压力);...
2022-02-24 11:32:09
982
原创 note_doit_day10
1.代码块: 1.局部代码块:用来限制变量的作用域范围 2.构造代码块(成员代码块) 当创建对象时 成员代码块会执行 创建一次 执行一次 优先于构造方法 3.静态代码块 当类加载时 静态代码块会执行 类只加载一次 所以静态代码块只执行一次 创建类的对象时 访问静态的成员变量 访问静态的方法 创建子类对象 tips:静态代码块>构造代码块>构造方法 EX...
2021-07-19 14:26:23
87
原创 note_doit_day09
1.final修饰符: 1.final最终修饰符 final可以修饰 类 方法和变量(成员变量 局部变量) final修饰类 不能被继承 final修饰方法 不能被重写 final修饰变量 只能赋值一次 不可以二次赋值 是常量 2.final修饰符 修饰引用数据类型变量 地址值不能改变 但是属性值可以改变 3.final修饰成员变量 不能使用默认值 必须在创建对象之前赋值 1.以显示赋值 2.以在构造...
2021-07-19 14:24:23
69
原创 note_doit_day08
1.匿名对象: 定义:一个对象 不给引用变量赋值 直接使用 就是匿名对象 没有变量名的对象 1.匿名对象 如果不给引用变量赋值 只能使用一次 2.匿名对象 可以作为方法的参数和返回值 使用 2.类的继承: 讲师类 属性 工号 姓名 年龄 行为 工作 继承概念 当定义一个类时 ,发现已有类(员工类) 与 要定义的类(讲师类)相似, 并且要定义的类 属于 已...
2021-07-19 14:23:49
76
原创 note_doit_day07
1.面向对象: 面向过程:亲历亲为处理每个过程. 面向对象:需要实现某个功能时,不关心具体步骤,只关心结果,找一个具有该功能的类,实现操作. 特点: 1.符合思维习惯. 2.将复杂事情简单化. 3.角色发生转换,编程者称为指挥者 三大特征: 封装 继承 多态 类:类是对现实事物的抽象描述. 现实事物都具备属性和功能 ,可以使用类的成员变量描述事物的属性 使用类的 成员方法描述事物的功能 ...
2021-07-19 14:23:17
101
原创 note_doit_day06
1.类class 1.类的定义: 类:类就是描述现实事物的,现实事物具备属性和功能(行为) 我们可以使用类的成员变量来描述 类:描述的的一类事物的共性内容 对象:根据类的描述 创建出来的 具体的实例 事物的属性 类的成员方法 来描述事物的功能 我们今天只描述属性 不描述功能 成员变量:定义在类中方法外的变量 局部变量:定义在方法中 或者 for循环等等中的变量叫做局部变量 ...
2021-07-19 14:22:44
167
原创 note_doit_day05
1.方法: 定义:一个方法就是一个功能,将一段代码打包,让这段代码可以反复使用 方法的定义 1.无参数无返回值的方法 修饰符 返回值类型 方法名(){ 方法体 return; } 2.带参数的方法: public static void 方法名(参数列表){ 方法体 return; }...
2021-07-19 14:21:54
82
原创 note_doit_day04
1.IDEA开发工具: IDEA是一个针对java的集成开发工具. 1.创建工程步骤: new projects->new modules(projects structure)->一天一个modesule->在day04的src下new package->com.doit.demo01(三级文件夹) 2.File->settings里面调整字体界面 3.Alt+1;Alt+4 4.快捷键:...
2021-07-19 14:21:25
150
1
原创 note_doit_day03
1.Scanner键盘输入: Demo01: /* 引用数据类型三步: 1.导包 import 包名.包名.类名 2.定义变量并赋值 数据类型 变量名 = new 数据类型(); 3.调用方法 变量名.方法名(); Scanner导入: ...
2021-07-19 14:20:48
95
原创 note_doit_day02
1.变量: 内存--->一块田地 变量--->田地中的萝卜坑 *一个变量只能存储一个数据,并且一种类型的变量只能存储这种类型的数据. 变量概念:内存中一块临时存储数据的空间. 示例:Demo_01: /* 变量 就是内存中一块临时存储数据的空间 定义变量的格式 数据类型 变量名 = 变量值; --定义变量并赋值 ...
2021-07-19 14:20:04
141
原创 note_doit_day01
1.常用DOS命令： *可在资源管理器地址栏直接输入“cmd”打开dos窗口 1.cd +TAB 自动补全 2.cd .. 返回上一级 3.cd/或者cd\ 返回根目录 4.C:或者D: 盘符切换 5.dir 查看文件夹（包含隐藏文件：带有<DIR>的都是文件夹，带有数字的表示文件，文件的字节数）...
2021-07-19 14:19:09
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人