zhm_feng-优快云博客

原创 Scala面向对象的基本操作

单例对象在scala中,使用object创建的对象就是单例对象 object对象不能带参数类的基本操作类的定义和构造器 /** * @Author: zhm.Feng * @Date: 2019/3/19 13:13 */ //类的主构造器定义在类的后面,使用小括号 class Animal2(name: String, age: Int) { println("执行主构造...

2019-03-21 17:17:24 226

sqoop导出操作 HDFS上的数据/user/root/empdata 001,15012454745,zhangsan@163.com 002,13512454746,lisi@wolfcode.cn 003,15812454747,wangwu@qq.com 1.修改远程登录mysql的配置 use mysql; select host from user where user='root'...

2019-03-18 18:43:43 819

原创 Hive的SQL语法及简单使用

类型转换函数 select cast("3" as int);将3转换为int类型 select cast("2012-02-02" as date);将符合格式的字符串转换为 date类型,只能转换中间为'-'格式的字符串 select cast(current_timestamp as date);当前时间数学运算函数 select round(3.2); 四舍五入 select ro...

2019-03-17 22:29:56 870

原创 HDFS中NameNode的checkPoint流程

SecondaryNameNode定期向NameNode发送check point请求 NameNode将上一次checkpoint到现在的日志和fsimage一起发送到SecondaryNameNode SecondaryNameNode在内存中读取fsimage和日志信息,并按日志对fsimage进行操作 SecondaryNameNode将合并好的数据打包成.checkpoint文件发送给...

2019-03-16 22:39:18 1206 1

原创 MapReduce的执行流程

MapReduce的执行流程文件读取组件调用getRecordReader()方法,再调用LineRecordReader方法来读取切片文件读取完之后到Mapper中进行处理 Mapper处理完之后,数据进入环形缓冲区环形缓冲区数据超过80%时会溢出,每溢出一次数据,都会与上一次溢出的数据进行合并操作(归并排序法) 数据合并完之后,reduce会主动拉取分区完的数据进入Reduce程序中执...

2019-03-14 22:39:46 443 1

原创 Hadoop集群的搭建

整体流程模拟集群中有三个slaves时 1.修改虚拟机网络连接方式主机名 IP 映射文件关闭防火墙 2.安装ssh客户端方便多台虚拟机传输数据 3.安装jdk8 4.安装hadoop安装包配置环境变量安装准备文件先将虚拟机的网络模式选为NAT 修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hdp01 ##配置...

2019-03-14 21:24:28 261 1

zhm_feng