qq_34132046的博客

原创 scala 模式匹配

模式匹配 目录模式匹配一、 模式种类二、模式重叠三、密封类Option类型四、不仅仅match，模式到处都可用 一、 模式种类 1. 通配模式：_ 相当于java switch里的defualt，匹配所有没有匹配上的对象 。 通配模式还可以用于对象的参数中，表示不关心对象的参数是什么。 2. 常量模式：任何常量如数字，布尔，字符等，只匹配自己，同时val和单例对象也可以当作常量使用。 3. 变量模式：变量模式和通配模式一样，可以匹配任何对象，当变量模式会将变量绑定成匹配上的对象，你可以用这个变量对对象做进一

原创 case class

case class scala里的case class和普通class有几点不同： 1、初始化的时候可以不用new，当然你也可以加上，普通类一定需要加new； 2、toString的实现更漂亮； 3、默认实现了equals 和hashCode； 4、默认是可以序列化的，也就是实现了Serializable ； 5、自动从scala.Product中继承一些函数; 6、case class构造函数的参数是public级别的，我们可以直接访问； 7、支持模式匹配； 其实感觉case class最重要的特性应

原创 linux 命令执行的判断依据

linux 命令执行的判断依据 ; , &&, || 一、";" 指令与指令中间利用分号 “;” 来隔开，分号前的指令执行完后就会立刻接着执行后面的指令了。 二、"&&" 和 “||” 每个指令执行结束后，都会有一个指令回传值（$?），如果指令执行正确，$?返回0，如果执行错误，则返回错误的对应数字。 "&&" 和 “||” 会通过 **"$?"**的返回值来判断后续指令是否执行 指令下达情况 说明 cmd1 && cmd2

原创 linux 数据流重导向

linux 数据流重导向 > >> < << 参考：节选自鸟哥的linux私房菜 10.5.1节 什么是数据流重导向啊？这得要由指令的执行结果谈起！一般来说，如果你要执行一个指令，通常他 会是这样的： 我们执行一个指令的时候，这个指令可能会由文件读入资料，经过处理之后，再将数据输出到屏幕上。在上图当中， standard output 与 standard error output 分别代表『标准输出 (STDOUT)』与『标准错误输出 (STDERR)』， 这两个玩意

原创 Linux 通配符和特殊符号

linux 通配符和特殊符号 一、通配符 符号 说明 * 代表『 0 个到无穷多个』任意字符 ? 代表『一定有一个』任意字符 [ ] 同样代表『一定有一个在括号内』的字符(非任意字符)。例如 [abcd] 代表『一定有一个字符， 可能是 a, b,c, d 这四个任何一个』 [ - ] 若有减号在中括号内时，代表『在编码顺序内的所有字符』。例如 [0-9] 代表 0 到 9 之间的所有数字，因为数字的语系编码是连续的！ [^ ] 若中括号内的第一个字符为指数符号 (^) ，那

原创 linux bash环境配置文件

linux bash环境配置文件 你是否会觉得奇怪，怎么我们什么动作都没有进行，但是一进入 bash 就取得一堆有用的变量了？ 这 是因为系统有一些环境配置文件案的存在，让 bash 在启动时直接读取这些配置文件，以规划好 bash 的操作环境啦！ 而这些配置文件又可以分为全体系统的配置文件以及用户个人偏好配置文件。要注 意的是， 我们前几个小节谈到的命令别名啦、自定义的变数啦，在你注销 bash 后就会失效，所以 你想要保留你的设定， 就得要将这些设定写入配置文件才行。底下就让我们来聊聊吧！ login

原创 hive —— 分区表

hive —— 分区表 为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。 通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。 例如：partitioned by(Field1，Field2，…)，那么数据在hdfs上的存放路径是：                 默认表路径/Field1=var1/Field=var2 hive分区表有静态分区和动态分区两

原创 hive —— 数据类型

hive —— 数据类型 hive的数据类型有五大类型: primitive_type ：原始类型 array_type ：数组 map_type ：map struct_type ：结构体 union_type ：联合体 一、primitive_type原始类型 以下是hive的原始数据类型及格式 类型 描述 示例 TINYINT 一字节整数， -128 ~ 127 12 SMALLINT 二字节整数，-32768 ~ 32767 25

转载 oracle 分区表 详

转载自：http://blog.itpub.net/31401608/viewspace-2147665/ 1.表空间及分区表的概念 表空间：是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表，所以称作表空间。 分区表：当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间（物理文件上），这样查询数据时，不至于每次都扫描整张表。 2.表分区的具体

原创 Shuffer reduce端源码分析

Hadoop会在适当的时候启动ReduceTask：条件待定？？ ReduceTask.run(）会先用反射构造ShuffleConsumerPlugin类（接口类）的实例，ShuffleConsumerPlugin的实现类默认为Shuffle类： Class<? extends ShuffleConsumerPlugin> clazz = job.getClass("mapreduce.job.reduce.shuffle.consumer.plugin.class", Shuffle.cla

原创 mapreduce过程图解

原创 Comparable与Comparetor

Comparable Comparable是排序接口。若一个类实现了Comparable接口，就意味着该类支持排序。实现了Comparable接口的类的对象的列表或数组可以通过Collections.sort或Arrays.sort进行自动排序： Collections.sort（List<T extends Comparable<? super T>> list） Arrays.sort(Object[] arr)：Arrays.sort会将arr里的元素转换类型为Compara

原创 数组复制 System.arraycopy

System.arraycopy方法时数组复制的方法之一： public static native void arraycopy(Object src, int srcPos, Object dest, int destPos, int length); 参数： src：原数组 srcPos: 从原数组哪个位置开始复制 dest：目标数组 dest.