Janche的博客

集合scala同时支持不可变集合和可变集合，默认采用不可变集合，包含三大类（Seq、Set、Map）不可变集合：scala.collection.immutable可变集合： scala.collection.mutable元组Tuple元组也是可以理解为一个容器，可以存放各种相同或不同类型的数据。说的简单点，就是将多个无关的数据封装为一个整体，称为元组, 最大的特点灵活,对数据没有过多的约束。注意：元组中最大只能有22个元素// 声明val tuple1 = (1, 2, 3, "

Scala介绍Scala 是一门多范式的编程语言，Scala支持面向对象和函数式编程Scala源代码(.scala)会被编译成Java字节码(.class)，然后运行于JVM之上，并可以调用现有的Java类库，实现两种语言的无缝对接。Spark就是使用Scala编写的，因此大部分学习scala的原因都是为了更好的学习spark这一大数据计算框架语法特点变量声明var 声明可变变量 eg: var age: Int = 18val 声明不可变变量 eg: val sex = "male

HBase是什么：HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它是Google Bigtable的开源实现，运行于HDFS文件系统之上，利用MapReduce处理数据，使用Zookeeper作为协同服务，因此可以容错地存储海量稀疏的数据。优势：海量数据存储，方便扩展快速的随机访问，独特的设计使得写操作比读操作有时更快数据存储在hdfs上，备份不用担心HBase 架构图主要组件：1. clientClient包含了访问Hbase的接口，另外Client还维护了

1. HDFS定义：HDFS(Hadoop Distributed File System),它是一个文件系统，用于存储文件，通过目录树来定位文件，它是分布式的，由很多服务器联合起来实现其功能。场景：适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据分析，不适合做网盘应用。优点：1. 高容错性(数据保存多个副本，某个副本丢失后，可自动恢复)，2. 适合处理大数据，3. 可构建在...

Hadoop的起源发展历史2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年2月被分离出来...