<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[LeeBoolean的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/LeeBoolean</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; LeeBoolean]]></copyright><item><title><![CDATA[Hadoop-Hive 自定义函数实现步骤]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109864833</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109864833</guid><author>LeeBoolean</author><pubDate>Fri, 20 Nov 2020 21:09:52 +0800</pubDate><description><![CDATA[创建maven  java 工程，导入jar包
 &lt;repositories&gt;
     &lt;repository&gt;
         &lt;id&gt;cloudera&lt;/id&gt;
  &lt;url&gt;https://repository.cloudera.com/artifactory/cloudera-repos/&lt;/url&gt;
     &lt;/repository&gt;
 &lt;/repositories&gt;
 &lt;depende..]]></description><category></category></item><item><title><![CDATA[Hadoop-Hive语句一览]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109820082</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109820082</guid><author>LeeBoolean</author><pubDate>Fri, 20 Nov 2020 20:40:57 +0800</pubDate><description><![CDATA[Hadoop-Hive语句一览数据库操作数据表操作普通表分区表
数据库操作
创建数据库
create database 数据库名;

创建数据库并指定HDFS存储位置
create database 数据库名 location 'HDFS路径';

删除空数据库
drop database 数据库名;

删除非空数据库
drop  database  数据库名 cascade;

查看数据库基本信息
desc  database  数据库名;

查看数据库更多详细信息
desc database exten]]></description><category></category></item><item><title><![CDATA[shell编程 算术运算的三种格式]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/108653259</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/108653259</guid><author>LeeBoolean</author><pubDate>Thu, 19 Nov 2020 17:34:15 +0800</pubDate><description><![CDATA[aa=1
bb=`expr ${aa} + 2`
echo $bb
cc=$((${aa}+2))
echo $cc
dd=$[${aa}+2]
echo $dd

]]></description><category></category></item><item><title><![CDATA[Hadoop-MapReduce 自定义inputformat与自定义outputformat]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109682799</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109682799</guid><author>LeeBoolean</author><pubDate>Fri, 13 Nov 2020 21:28:31 +0800</pubDate><description><![CDATA[自定义inputformat与自定义outputformat自定义inputformatDriver类InputFormat类map类recordreader类自定义outputformatDriver类map类OutPutfromat类recordwritter类
自定义inputformat
Driver类
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.ha]]></description><category></category></item><item><title><![CDATA[Hadoop-MapReduce reduce端join与map端join算法实现步骤]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109498284</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109498284</guid><author>LeeBoolean</author><pubDate>Wed, 04 Nov 2020 20:31:39 +0800</pubDate><description><![CDATA[reduce端join与map端join算法实现reduce端join算法实现JavaBean类Map类Reduce类Driver类map端join算法实现Map类Driver类
reduce端join算法实现
JavaBean类
import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public cl]]></description><category></category></item><item><title><![CDATA[Hadoop-MapReduce基本代码实现步骤]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109497877</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109497877</guid><author>LeeBoolean</author><pubDate>Wed, 04 Nov 2020 20:10:01 +0800</pubDate><description><![CDATA[Hadoop-MapReduce基本代码一览JavaBean类Map类Partitions类Reduce类Driver类
JavaBean类
import org.apache.hadoop.io.Writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class PhoneBean implements Writable {

    //设置四个需要存储读取的数]]></description><category></category></item><item><title><![CDATA[hadoop-HA集群搭建步骤及配置文件的修改]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109239585</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109239585</guid><author>LeeBoolean</author><pubDate>Mon, 26 Oct 2020 16:00:11 +0800</pubDate><description><![CDATA[**注意:要先安装配置好zooekeeper集群,详情请点链接: link. **
hadoop-HA集群搭建步骤修改core-site.xml修改hdfs-site.xml
修改core-site.xml
&lt;configuration&gt;
&lt;!-- 集群名称在这里指定！该值来自于hdfs-site.xml中的配置 --&gt;
&lt;property&gt;
&lt;name&gt;fs.defaultFS&lt;/name&gt;
&lt;value&gt;hdfs://cluster]]></description><category></category></item><item><title><![CDATA[大数据系列之Zookeeper知识部分讲解]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109185773</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109185773</guid><author>LeeBoolean</author><pubDate>Tue, 20 Oct 2020 18:09:46 +0800</pubDate><description><![CDATA[大数据系列之Zookeeper知识部分讲解ZooKeeper概述ZooKeeper特性ZooKeeper集群角色ZooKeeper shell客户端连接创建节点读取节点更新节点删除节点其他命令ZooKeeper数据模型节点类型节点属性ZooKeeper Watcher（监听机制）Watch机制特点通知状态和事件类型Shell 客户端设置watcherZooKeeper Java APIZooKeeper选举机制概念全新集群选举非全新集群选举
ZooKeeper概述
Zookeeper是一个分布式协调服务的开]]></description><category></category></item><item><title><![CDATA[大数据系列之Zookeeper集群搭建]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109165398</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109165398</guid><author>LeeBoolean</author><pubDate>Mon, 19 Oct 2020 17:57:42 +0800</pubDate><description><![CDATA[安装前需要安装好jdk
 检测集群时间是否同步
 检测防火墙是否关闭
 检测主机 ip映射有没有配置



下载安装包、解压
 tar -zxvf zookeeper-3.4.5.tar.gz



修改环境变量（注意：3台zookeeper都需要修改）
 vim /etc/profile.d/zookeeper.sh
 export ZOOKEEPER_HOME=zookeeper安装目录的绝对路径
 export PATH=$PATH:$ZOOKEEPER_HOME/bin

 source /et..]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS其他功能介绍]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109146839</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109146839</guid><author>LeeBoolean</author><pubDate>Sun, 18 Oct 2020 16:48:05 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS其他功能介绍多个集群之间的数据拷贝hdfs快照snapShot管理HDFS回收站回收站配置两个参数启用回收站查看回收站通过javaAPI删除的数据，不会进入回收站，需要调用moveToTrash()才会进入回收站恢复回收站数据清空回收站
多个集群之间的数据拷贝
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/
bin/Hadoop distcp hdfs://node01:8020/jdk-8u141-linux-x64.]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS-Web界面介绍]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109146648</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109146648</guid><author>LeeBoolean</author><pubDate>Sun, 18 Oct 2020 16:39:02 +0800</pubDate><description><![CDATA[登录HDFSWeb浏览器
打开浏览器输入  http://node01:50070  （node01是NameNode所在的节点，或IP）

Overview:集群概述
Datanode:：数据节点
datanode-volume-failures: 数据节点卷故障
snapshot: 快照
startup-progress: 启动进度

Overview:集群概述
Datanode:：数据节点
datanode-volume-failures: 数据节点卷故障
snapshot: 快照
startup-p]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS的javaAPI操作]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109146471</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109146471</guid><author>LeeBoolean</author><pubDate>Sun, 18 Oct 2020 16:28:31 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS的javaAPI操作获取FileSystem的几种方式递归遍历文件系统当中的所有文件下载文件到本地hdfs上创建文件夹hdfs文件上传HDFS权限问题以及伪造用户HDFS的小文件合并
获取FileSystem的几种方式
第一种方式获取FileSystem
@Test
public void getFileSystem() throws URISyntaxException, IOException {
   Configuration configurati]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS新增节点与删除节点]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109094102</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109094102</guid><author>LeeBoolean</author><pubDate>Sun, 18 Oct 2020 16:01:58 +0800</pubDate><description><![CDATA[HDFS新增节点与删除节点新增节点
新增节点


创捷新的虚拟主机


修改新节点主机名 		vi /etc/sysconfig/network


新节点永久关闭防火墙  /etc/init.d/iptables stop             chkconfig iptables off


新节点关闭selinux      vi /etc/selinux/config       SELINUX=disabled


修改所有节点的 /etc/hosts文件。添加新节点的ip和主机名


主节点到]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之Fsimage，Edits详解]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109083758</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109083758</guid><author>LeeBoolean</author><pubDate>Wed, 14 Oct 2020 21:37:15 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之Fsimage，Edits详解NameNode元数据解析元数据信息目录的配置FSimage文件当中的文件信息查看edits当中的文件信息查看secondarynameNode如何辅助管理FSImage与Edits文件namenode元数据信息多目录配置
NameNode元数据解析
（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。
（2）客户端对元数据进行增删改的请求。
（]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS的高级使用命令]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109033345</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109033345</guid><author>LeeBoolean</author><pubDate>Mon, 12 Oct 2020 18:15:18 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS的高级使用命令HDFS高级使用命令数量限额空间大小限额查看hdfs文件限额数量HDFS的安全模式hdfs的文件权限验证
HDFS高级使用命令
数量限额
hdfs dfs -mkdir -p /user/root/lisi     #创建hdfs文件夹
hdfs dfsadmin -setQuota 2 lisi      # 给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件
hdfs dfsadmin -clrQuota /user/roo]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS的shell命令操作]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109033128</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109033128</guid><author>LeeBoolean</author><pubDate>Mon, 12 Oct 2020 18:04:39 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS的shell命令操作基本语法常用命令HDFS的特性
基本语法
老版本:
hadoop fs 具体命令

新版本:
hdfs dfs 具体命令

常用命令
（1）-help：输出这个命令参数
bin/hdfs dfs -help rm

（2）-ls: 显示目录信息
hdfs dfs -ls /

（3）-mkdir：在hdfs上创建目录
hdfs dfs  -mkdir  -p  /aaa/bbb/cc/dd

（4）-moveFromLocal从本地剪切粘]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS文件读写流程]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109032487</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109032487</guid><author>LeeBoolean</author><pubDate>Mon, 12 Oct 2020 17:41:08 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS文件读写流程文件写入过程文件读取过程数据完整性掉线时限参数设置DataNode的目录结构一次写入，多次读出
文件写入过程

详细步骤解析：
1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存
在，返回是否可以上传；
2、 client请求第一个block该传输到哪些DataNode服务器上；
3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的Da]]></description><category></category></item><item><title><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS基本介绍]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/109031476</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/109031476</guid><author>LeeBoolean</author><pubDate>Mon, 12 Oct 2020 17:21:37 +0800</pubDate><description><![CDATA[hadoop核心组件——HDFS系列讲解之HDFS 基本介绍HDFS 基本介绍HDFS分块存储抽象成数据块的好处块缓存HDFS副本机制名字空间（NameSpace）Namenode 功能Datanode功能机架感知
HDFS 基本介绍
HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统]]></description><category></category></item><item><title><![CDATA[Hadoop CDH 分布式环境搭建]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/108943428</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/108943428</guid><author>LeeBoolean</author><pubDate>Tue, 06 Oct 2020 20:59:37 +0800</pubDate><description><![CDATA[Hadoop CDH 分布式环境搭建1.上传压缩包并解压2.查看Hadoop支持的压缩方式以及本地库3.修改配置文件修改core-site.xml修改hdfs-site.xml修改Hadoop-env.sh(如果配置了JDK1.8就不用修改)修改mapred-site.xml修改yarn-site.xml修改slaves文件4.创建文件存放目录5.安装包的分发6.配置Hadoop的环境变量7.集群启动单个节点逐一启动脚本一键启动HDFS、Yarn脚本一键启动所有8.浏览器查看启动页面

1.上传压缩包并解压]]></description><category></category></item><item><title><![CDATA[大数据基础知识介绍]]></title><link>https://blog.youkuaiyun.com/LeeBoolean/article/details/108922726</link><guid>https://blog.youkuaiyun.com/LeeBoolean/article/details/108922726</guid><author>LeeBoolean</author><pubDate>Mon, 05 Oct 2020 14:56:09 +0800</pubDate><description><![CDATA[大数据介绍大数据介绍什么是大数据大数据特点大数据能做什么大数据项目流程介绍
大数据介绍
什么是大数据

大数据特点

大数据能做什么

大数据项目流程介绍

数据生产
数据采集
数据存储
需求分析
数据预处理
数据计算
结果数据存储
结果数据展现


...]]></description><category></category></item></channel></rss>