ITWUYI的博客

Hadoop家族1、Apache Hadoop:是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。2、Apache Hive:是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。3、Apache Pig:是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE

基于大数据的个性化推荐系统1、概述推荐系统的主要任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。基于大数据的推荐系统通过分析用户的历史记录了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求。、2、工作原理推荐系统接收的输入是推荐的数据源，一般情况下，推荐引擎所需要的数据源包括以下几点：要推荐物品或內容的元数据，如关键字、基因描述等。 系统用户的基本信息，如性别、年龄

Scala 下划线1、概述下划线这个符号在不同的场景下具有不同的含义。2、替换Java的等价语法大部分的Java语言的关键字在Scala语言中拥有了新的含义，所以一些基本的语法在Scala中有变化。体现在导入通配符、类成员默认值、可变参数、类型通配符等方面。（1）导入通配符*在Scala中是合法的方法名，所以导入包时要使用_代替。//Javaimport java.lang.*;//Scalaimport java.lang._（2）类成员默认值（该语法只适用.

Scala 文件 I/O1、概念Scala 进行文件写操作，直接用的都是 java中 的 I/O 类 （java.io.File)：import java.io.{File, PrintWriter}object Demo { def main(args: Array[String]) { val writer = new PrintWriter(new File("my.txt" )) writer.write("I love Scala!") writer

Scala 提取器(Extractor)1、概念提取器是从传递给它的对象中提取出构造该对象的参数。Scala 标准库包含了一些预定义的提取器。Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作：unapply接受一个对象，然后从对象中提取值，提取的值通常是用来构造该对象的值。邮件地址的提取器对象，比如：object Demo { def main(args: Array[String]) { println ("App

Scala 异常处理1、概念Scala 的异常处理和其它语言，比如 Java 。Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行，不必通过返回值。2、抛出异常Scala 抛出异常的方法和 Java一样，使用 throw 方法，例如，抛出一个新的参数异常：throw new IllegalArgumentException3、捕获异常异常捕捉的机制与其他语言中一样，如果有异常发生，catch 字句是按次序捕捉的。因此，在 catch 字句中，越具体的异常越要

Scala 正则表达式1、概念Scala 通过 scala.util.matching 包中的Regex类来支持正则表达式。以下实例演示了使用正则表达式查找单词Scala:import scala.util.matching.Regexobject Demo { def main(args: Array[String]) { val pattern = "Spark".r val str = "Spark is written by Scala!" pri...

Scala 模式匹配1、概念Scala 提供了强大的模式匹配机制，应用也非常广泛。一个模式匹配包含了一系列备选项，每个都开始于关键字case。每个备选项都包含了一个模式及一到多个表达式。箭头符号=>隔开了模式和表达式。简单的整型值模式匹配，比如：object Demo { def main(args: Array[String]) { println(matchDemo(3)) } def matchDemo(a: Int): String = a ma...

Scala Trait(特征)1、概念Scala Trait(特征) 相当于 Java 的接口，实际上它比接口还功能强大。与接口不同的是，它还可以定义属性和方法的实现。一般情况下Scala的类只能够继承单一父类，但是如果是 Trait(特征) 的话就可以继承多个，从结果来看就是实现了多重继承。Trait(特征) 定义的方式与类类似，但它使用的关键字是trait，比如：trait Correct{ def isCorrect(a: Any): Boolean def isN.

Scala 类和对象1、概念类是对象的抽象，而对象是类的具体实例。类是抽象的，不占用内存，而对象是具体的，占用存储空间。类是用于创建对象的蓝图，它是一个定义包括在特定类型的对象中的方法和变量的软件模板。class Location(px: Int, py: Int) { var x: Int = px var y: Int = py def move(mx: Int, my: Int) { x = x + mx y = y + my println ("x

Scala Iterator（迭代器）

Scala Option(选项)

Scala Map(映射)

Scala Map(映射)

Scala Set(集合)

Scala List(列表)

Scala Collection1、介绍Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类，相比之下，永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。2、常用集合类型1 Scala List(列表) List的特征是其元素以线性方式存储

Scala 数组1、介绍Scala 语言中提供的数组是用来存储固定大小的同类型元素。使用 numbers[0]、numbers[1]、...、numbers[99] 来表示一个个单独的变量。数组中某个指定的元素是通过索引来访问的。数组的第一个元素索引为0，最后一个元素的索引为元素总数减1。2、声明数组(1）Scala 数组声明的语法格式：var x:Array[String] = new Array[String](8)或者var x = new Array[Stri

Scala 字符串1、介绍object Demo { val hello: String = "Hello,Scala!" def main(args: Array[String]) { println( hello ) }}以上实例定义了变量 hello，为字符串常量，它的类型为String (java.lang.String)。在 Scala 中，字符串的类型实际上是 Java String，它本身没有 String 类。在 Scala 中，String.

Scala 闭包1、概念闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。比如这个匿名的函数：val multiplier = (a:Int) => a * 100 函数体内有一个变量 a，它作为函数的一个参数。下面的代码：val multiplier = (a:Int) => a * factor在 multiplier 中有两个变量：a 和 factor。其中的..

Scala 循环1、介绍我们可能需要多次执行同一块代码。一般情况下，语句是按顺序执行的：函数中的第一个语句先执行，接着是第二个语句，依此类推。编程语言提供了更为复杂执行路径的多种控制结构。循环语句允许我们多次执行一个语句或语句组。2、循环类型Scala 语言提供了以下三种循环类型。循环类型 描述 while 循环 运行一系列语句，如果条件为true，会重复运行，直到条件变为false。 do...while 循环 类似 while 语句区别在于判断循环条

条件 IF...ELSE 语句1、介绍Scala的 IF...ELSE 语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。2、if 语句if 语句有布尔表达式及之后的语句块组成。格式：if(布尔表达式){ // 如果布尔表达式为 true 则执行该语句块}object Test { def main(args: Array[String]) { var x = 10; if( x < 20 ){

Scala 运算符云算法可以告诉编译器来执行指定的数学运算和逻辑运算。1、丰富的内置运算符 算术运算符 关系运算符 逻辑运算符 位运算符 赋值运算符 2、算术运算符下面列出了 Scala 支持的算术运算符。假定变量 X 为 8，Y为 2：运算符 描述 实例 + 加号 X + Y 运算结果为 10 - 减号 X - Y 运算结果为 6 * 乘号 X * Y 运算结果为 16.

Scala 访问修饰符1、介绍Scala 访问修饰符和Java的基本一样，分别有：private，protected，public。如果没有指定访问修饰符，默认情况下，Scala 对象的访问级别都是 public。Scala 中的 private 限定符，比 Java 更严格，在嵌套类情况下，外层类甚至不能访问被嵌套类的私有成员。2、私有(Private)用 private 关键字修饰，带有此标记的成员仅在包含了成员定义的类或对象内部可见，同样的规则还适用内部类。class O

Scala 变量1、说明变量是一种使用方便的占位符，用于引用计算机内存地址，变量创建后会占用一定的内存空间。基于变量的数据类型，操作系统会进行内存分配并且决定什么将被储存在保留内存中。因此，通过给变量分配不同的数据类型，你就可以在这些变量中存储整数，小数或者字母等。2、变量声明变量与常量：变量： 在程序运行过程中其值可能发生改变的量叫做变量。如：时间。 常量 在程序运行过程中其值不会发生变化的量叫做常量。如：数值 888，字符'X'。在 Scala 中，使用关键词"var".

Scala 数据类型1、数据类型Scala 数据类型都是对象，也就是说scala没有java中的原生类型。在scala是可以对数字等基础类型调用方法的。Scala 与 Java很相似， 有着相同的数据类型，下表展示了 Scala 支持的数据类型：数据类型 数据类型 描述 Byte 8位有符号补码整数。数值区间为 -128 到 127 Short 16位有符号补码整数。数值区间为 -32768 到 32767 Int 32位有符号补码整数。数值区间为.

Scala基础语法Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。1、类，对象，方法，实例变量的概念对象 - 对象有属性和行为。例如：一只猫的属性有：颜色，名字，行为有：叫、跑、吃等。对象是一个类的实例。类 - 类是对象的抽象，而对象是类的具体实例。方法 - 方法描述的基本的行为，一个类可以包含多个方法。字段 - 每个对象都有它唯一的实例变量集合，即字段。对象的属性通过给字段赋值来创建。2、基本语法（1）区分大小写Scala是大小写敏感的，这意味着标识He

Scala1、介绍Scala 是 Scalable Language 的简写，是一门多范式的编程语言。联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。2、特性（1）面向对象特性Scala是一种纯面向对象的语言，每个值都是对象。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径：一种途径是子类继承，另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。（2）函数式编程Scala也是一种函数式语言，其函数也

Hbase知识点（1）概念base 是分布式、面向列的开源数据库（其实准确的说是面向列族）。HDFS 为 Hbase 提供可靠的底层数据存储服务，MapReduce 为 Hbase 提供高性能的计算能力，Zookeeper 为 Hbase 提供稳定服务和 Failover 机制，因此我们说 Hbase 是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。（2）列式存储...

Spark知识点

Hadoop知识点

Storm知识点

日志知识点（1）Slf4jslf4j 的全称是 Simple Loging Facade For Java，它仅仅是一个为 Java 程序提供日志输出的统一接口，并不是一个具体的日志实现方案，就比如 JDBC 一样，只是一种规则而已。所以单独的 slf4j 是不能工作的，必须搭配其他具体的日志实现方案，比如 apache 的 org.apache.log4j.Logger， jdk 自带的 java.util.logging.Logger 等。（2）Log4jLog4j 是 Apache 的一个开