_知多少_-优快云博客

原创 Scala基础部分知识点

Scala scala基础数据类型易混淆：变量和常量的声明 package scala.basic /** * scala: * 1. scala object 相当于java中的单例，object中定义的全是静态的（相当与java的工具类） * 2. scala 中定义变量使用var，定义常量使用val，变量可变，常量不可变 * 3. scala 中每行后面会有分号自动推断机制，可以不写“；” * 4. 建议Scala中命名使用驼峰命名法 */ object obje

2021-03-22 16:57:48 227

原创 Spark-core部分知识点

Spark WordCount package com.bigdata import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //创建上下文对象 val conf = new SparkConf().setMaster("local[*]").setAppName("WordCount") val sc = ne

2021-03-22 16:55:30 242

原创 MapReduce知识点（4）

OutputFormat 自定义OutputFormat 继承FileOutputFormat,重写getRecordWriter 自定义RecordWriter,重写write,close方法 MyoutputFormat类 package com.bigdata.mapreduce.outputformat; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; imp

2021-03-22 16:48:13 248

原创 MapReduce知识点（3）

Reduce端的Join 原数据： //orders表 1001,20150710,p0001,2 1002,20150710,p0002,3 //product表 p0001,小米5,1000,2000 p0002,锤子T1,1000,3000 按照商品编号将两表连接起来，效果： key value p0001 p0001,小米5,1000,2000 1001,20150710,p0001,2 p0002 p0002,锤子T1,1000,3000 1002,20150710,p0002,3

2021-03-22 16:47:23 237

原创 MapReduce知识点（2）

计数器内置计数器定义计数器使用上下文对象context的getCounter方法，两个参数，计数器类型和名字枚举创建排序和序列化原数据：需求：第一列按字典顺序进行排列第一列相同时，第二列按升序进行排序定义sortbean类实现WritableComparable接口,按照需求定义成员变量，重写compareTo方法和write、readFields方法 package com.bigdata.mapreduce.sort; import org.apac

2021-03-22 16:45:14 304

原创 mapReduce知识点（1）

MapReduce 创建map类继承Mapper类，重写map（）方法创建reduce类继承Reducer类，重写reduce（）方法创建主方法类继承Configured类实现Tool接口，重写run（）方法，添加main（）方法 WordCount案例 Map类 package com.bigdata.mapreduce; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import or

2021-03-22 16:39:23 361

原创 Hive

hive 查询全表查询 selec * from table 在查询字段后使用 name as new_name可以重命名一个列算术运算符 A+B A 和 B 相加 A-B A 减去 B A*B A 和 B 相乘 A/B A 除以 B A%B A 对 B 取余 A&B A 和 B 按位取与 A|B A 和 B 按位取或 A^B A 和 B 按位取异或 ~A A 按位取反常用函数 count():求总行数 max():最大值

2021-03-22 16:32:39 260

原创 CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）

CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware） CentOS 7.4安装及Hadoop伪分布式配置CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）准备VMware虚拟机安装CentOs 7.4虚拟机创建CentOS 7.4安装网络配置JDK配置Hadoop伪分布式安装配置core-site.xmlhdfs-site.xml 准备 VMware 版本：14.1.3 build-9474260 CentOS7:CentOS-7-x86_64-DVD-2

2021-01-16 17:38:42 2126 3

原创 Java 基础语法（自复用）

基础语法注释关键字常量变量介绍数据类型变量定义和使用键盘录入标识符类型转换注释注释就是指在程序的指定位置添加的说明性信息，就是对代码的解释说明，方便我们程序员阅读代码注释分类单行注释格式：// 多行注释格式：/* */ 文档注释格式：/** */ 关键字指被java赋予了特定含义的单词特点：字母全小写常用代码编辑器中有特殊颜色标注常量在程序执行过程中，值不会发生改变的量常量分类：字符串常量整数常量小数常量字符常量布尔

2020-11-18 12:41:32 141

AnswerLinWJ的博客