<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Crazy_Clown的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Crazy_Clown</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Crazy_Clown]]></copyright><item><title><![CDATA[自定义函数----（包含永久性创建函数）]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/93292312</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/93292312</guid><author>Crazy_Clown</author><pubDate>Sat, 22 Jun 2019 08:16:00 +0800</pubDate><description><![CDATA[一、UDF
1.UDF是一个简单的函数，可以用于我们的hive仓库，可以自定义内容，方便我们hive仓库的使用，提高我们的效率。
2.UDF、UDAF、UDTF
UDF:一对一 继承UDF 重写evaluate方法（实现传入的参数，并且封装了很多的方法）。
UDAF:多对一
UDTF:一对多
二、UDF使用
1.创建UDF自定义函数
package com.simple.test;

import...]]></description><category></category></item><item><title><![CDATA[hive命令深入理解---------分区表和分桶表]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/93137965</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/93137965</guid><author>Crazy_Clown</author><pubDate>Thu, 20 Jun 2019 22:06:18 +0800</pubDate><description><![CDATA[一、导入数据操作
1.load data local inpath ‘本地路径’ into table 数据库名.表名; （直接表名好像也可以）
将本地的数据导入到hive仓库中

例如：  load data local inpath ‘/root/test.txt’ into table t.user01;

2.load data  inpath ‘hdfs://本机名:端口号及路径’ in...]]></description><category></category></item><item><title><![CDATA[hive(数据仓库工具)]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/92844686</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/92844686</guid><author>Crazy_Clown</author><pubDate>Wed, 19 Jun 2019 20:28:31 +0800</pubDate><description><![CDATA[- hive定义
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
- hive安装


上传tar包 hive-1.2.1.tar...]]></description><category></category></item><item><title><![CDATA[Zookeeper分布式协调服务]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/92796851</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/92796851</guid><author>Crazy_Clown</author><pubDate>Tue, 18 Jun 2019 21:37:28 +0800</pubDate><description><![CDATA[一、Zookeeper安装及配置

单机安装

	Ip地址    ifconfig 查看      windows能ping通
	主机名   /etc/hostname
	Ip映射    hosts
	Java –version查看java版本
	解压zookeeper压缩包
	配置zookeeper环境变量path        /etc/prpfile
	source /etc/profile...]]></description><category></category></item><item><title><![CDATA[大数据架构师：Hadoop和Storm哪一个更好点]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/92054784</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/92054784</guid><author>Crazy_Clown</author><pubDate>Sat, 15 Jun 2019 07:28:38 +0800</pubDate><description><![CDATA[首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。

注释：


延时 ， 指数据从产生到运算产生结果的时间，“快”应该主要指这个。



吞吐， 指系统单位时间处理的数据量。


st...]]></description><category></category></item><item><title><![CDATA[MapReduce]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91978239</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91978239</guid><author>Crazy_Clown</author><pubDate>Fri, 14 Jun 2019 15:33:14 +0800</pubDate><description><![CDATA[一、MapReduce简介


什么是MapReduce？
Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析 应用”的核心框架。
Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个hadoop 集群上


Hadoop的四个组件
HDFS：分布式存储系统
MapReduce：分布式计算系...]]></description><category></category></item><item><title><![CDATA[搭建外部客户端--------eclipse开发]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91898134</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91898134</guid><author>Crazy_Clown</author><pubDate>Thu, 13 Jun 2019 21:34:18 +0800</pubDate><description><![CDATA[一、配置环境变量

jdk的环境变量
右击我的电脑，点击属性



然后对相应的环境变量进行编辑，并把你的jdk所在的绝对路径复制上去
编辑Path把jdk对应的bin的绝对路径复制上去
配置hadoop的环境变量
第一步
同样需要进入到系统的环境变量中

这两个环境变量需要我们自己写的
并且需要我们自己加入相对应的路径
点击新建，名字要取HADOOP_HOME
变量值 ：把自己hadoop-2....]]></description><category></category></item><item><title><![CDATA[hadoop完全分布式集群搭建---------这个还不错]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91819119</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91819119</guid><author>Crazy_Clown</author><pubDate>Thu, 13 Jun 2019 11:25:24 +0800</pubDate><description><![CDATA[一、基础操作

多个节点
（1）需要新建多台虚拟机
（2）配置多个节点（虚拟机）的网络映射，列如：
vim /etc/hosts

注：每一台虚拟机都需要配置多个节点的网络映射
（3）cat /etc/sysconfig/network 查看是否是自己的主机名
测试网络是否通过

	pint www.baidu.com

二、配置信息（同步）

免密登录
在主节点，所有节点执行ssh-keygen...]]></description><category></category></item><item><title><![CDATA[hadoop伪分布式集群搭建--------来瞅瞅吧]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91539382</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91539382</guid><author>Crazy_Clown</author><pubDate>Wed, 12 Jun 2019 15:34:12 +0800</pubDate><description><![CDATA[集群搭建
一、基础操作

上传：
yum install lrzsz -y ------可以下载上传操作指令
rz  -------可以进行上传文件
解压：
tar -zxvf jdk
tar -zxvf hadoop-2.6.5.tar.gz


如果是克隆多台机器  network中的主机名一定要修改
vim /etc/sysconfig/network

二、配置文件

配置jdk环境变量
...]]></description><category></category></item><item><title><![CDATA[SecondaryNamenode------持久化]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91471129</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91471129</guid><author>Crazy_Clown</author><pubDate>Tue, 11 Jun 2019 21:40:02 +0800</pubDate><description><![CDATA[为什么要用持久化
Namenode掌握一批元数据（描述数据的数据）-------放在内存里
硬盘：内存大，便宜，但是慢
内存：内存小，贵，但是快
持久化：当我们的集群因断电等特殊原因产生问题的时候，问题解决，重新开机，会去磁盘上读   		取元数据，恢复到断电前的状态
总之，持久化就是为了保证元数据的安全-----将内存中的数据存放到磁盘中


Namenode不会进行持久化的原因
可以做：需...]]></description><category></category></item><item><title><![CDATA[初步踏入大数据时代]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91397956</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91397956</guid><author>Crazy_Clown</author><pubDate>Mon, 10 Jun 2019 20:56:52 +0800</pubDate><description><![CDATA[大数据时代
概念：短时间内快速产生大量多种多样的有价值的信息
大数据可以概括为5个V
数据量大（Volume）
类型多（Variety）
价值（Value）
真实性（Veracity）
一、为了解决数据量过大的问题


垂直扩展

在垂直扩展模型中，想要增加系统负荷就意味着要在系统现有的部件上下工夫，即通过提高系统部件的能力来实现。例如，假设你现在负责一批木材采伐的操作
在这个例子中，我们假设有3...]]></description><category></category></item><item><title><![CDATA[初识Shell编程]]></title><link>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91378240</link><guid>https://blog.youkuaiyun.com/Crazy_Clown/article/details/91378240</guid><author>Crazy_Clown</author><pubDate>Mon, 10 Jun 2019 15:11:35 +0800</pubDate><description><![CDATA[天气：晴
发博客的第一天，简单的一些shell编程
一、基础概念

变量
概念：





本地
局部
环境
位置




name=god
local-----只能应用于函数
export
$*-----获取某一个位置的参数（通过{}确定一个整体）





运算符





算术表达式
条件表达式




1.$((算术表达式))  2.‘expr 算术表达式’
1.[ expression...]]></description><category></category></item></channel></rss>