<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[AnswerLinWJ的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/AnswerLinWJ</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; AnswerLinWJ]]></copyright><item><title><![CDATA[Scala基础部分知识点]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085874</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085874</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:57:48 +0800</pubDate><description><![CDATA[Scala
scala基础
数据类型

易混淆：

变量和常量的声明
package scala.basic

/**
  * scala:
  * 1. scala object 相当于java中的单例，object中定义的全是静态的（相当与java的工具类）
  * 2. scala 中定义变量使用var，定义常量使用val，变量可变，常量不可变
  * 3. scala 中每行后面会有分号自动推断机制，可以不写“；”
  * 4. 建议Scala中命名使用驼峰命名法
  */

object obje]]></description><category></category></item><item><title><![CDATA[Spark-core部分知识点]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085671</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085671</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:55:30 +0800</pubDate><description><![CDATA[Spark
WordCount
package com.bigdata

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {

    //创建上下文对象
    val conf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    val sc = ne]]></description><category></category></item><item><title><![CDATA[MapReduce知识点（4）]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085316</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085316</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:48:13 +0800</pubDate><description><![CDATA[OutputFormat
自定义OutputFormat


继承FileOutputFormat,重写getRecordWriter


自定义RecordWriter,重写write,close方法


MyoutputFormat类
package com.bigdata.mapreduce.outputformat;

import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
imp]]></description><category></category></item><item><title><![CDATA[MapReduce知识点（3）]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085182</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115085182</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:47:23 +0800</pubDate><description><![CDATA[Reduce端的Join
原数据：
//orders表
1001,20150710,p0001,2
1002,20150710,p0002,3

//product表
p0001,小米5,1000,2000
p0002,锤子T1,1000,3000

按照商品编号将两表连接起来，效果：
key			value
p0001		p0001,小米5,1000,2000	1001,20150710,p0001,2
p0002		p0002,锤子T1,1000,3000	1002,20150710,p0002,3

]]></description><category></category></item><item><title><![CDATA[MapReduce知识点（2）]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115084860</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115084860</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:45:14 +0800</pubDate><description><![CDATA[计数器


内置计数器




定义计数器

使用上下文对象context的getCounter方法，两个参数，计数器类型和名字
枚举创建



排序和序列化

原数据：

需求：

第一列按字典顺序进行排列
第一列相同时，第二列按升序进行排序



定义sortbean类实现WritableComparable接口,按照需求定义成员变量，重写compareTo方法和write、readFields方法
package com.bigdata.mapreduce.sort;

import org.apac]]></description><category></category></item><item><title><![CDATA[mapReduce知识点（1）]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115084710</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115084710</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:39:23 +0800</pubDate><description><![CDATA[MapReduce

创建map类继承Mapper类，重写map（）方法
创建reduce类继承Reducer类，重写reduce（）方法
创建主方法类继承Configured类实现Tool接口，重写run（）方法，添加main（）方法

WordCount案例


Map类
package com.bigdata.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import or]]></description><category></category></item><item><title><![CDATA[Hive]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115084371</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/115084371</guid><author>AnswerLinWJ</author><pubDate>Mon, 22 Mar 2021 16:32:39 +0800</pubDate><description><![CDATA[hive


查询

全表查询 selec * from table
在查询字段后使用 name as new_name可以重命名一个列



算术运算符




A+B
A 和 B  相加




A-B
A 减去 B


A*B
A 和 B  相乘


A/B
A 除以 B


A%B
A 对 B 取余


A&amp;B
A 和 B 按位取与


A|B
A 和 B 按位取或


A^B
A 和 B 按位取异或


~A
A 按位取反




常用函数

count():求总行数
max():最大值
]]></description><category></category></item><item><title><![CDATA[CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/112707850</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/112707850</guid><author>AnswerLinWJ</author><pubDate>Sat, 16 Jan 2021 17:38:42 +0800</pubDate><description><![CDATA[CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）
CentOS 7.4安装及Hadoop伪分布式配置CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）准备VMware虚拟机安装CentOs 7.4虚拟机创建CentOS 7.4安装网络配置JDK配置Hadoop伪分布式安装配置core-site.xmlhdfs-site.xml
准备

 VMware 版本：14.1.3 build-9474260
 CentOS7:CentOS-7-x86_64-DVD-2]]></description><category></category></item><item><title><![CDATA[Java 基础语法（自复用）]]></title><link>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/109771086</link><guid>https://blog.youkuaiyun.com/AnswerLinWJ/article/details/109771086</guid><author>AnswerLinWJ</author><pubDate>Wed, 18 Nov 2020 12:41:32 +0800</pubDate><description><![CDATA[基础语法

注释
关键字
常量
变量介绍
数据类型
变量定义和使用
键盘录入
标识符
类型转换

注释

注释就是指在程序的指定位置添加的说明性信息，就是对代码的解释说明，方便我们程序员阅读代码
注释分类



单行注释
格式：//


多行注释
格式：/* */


文档注释
格式：/** */


关键字

指被java赋予了特定含义的单词
特点：


字母全小写
常用代码编辑器中有特殊颜色标注

常量

在程序执行过程中，值不会发生改变的量
常量分类：

字符串常量
整数常量
小数常量
字符常量
布尔]]></description><category></category></item></channel></rss>