【大数据概述】Hadoop(一)_大数据的valence特性-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_51401546/article/details/137998124

大数据概述

概述

大数据从面世以来，不同的机构、组织都试图对大数据做出定义，但是到目前为止，大数据并没有产生准确的定义，达成了共识：大数据是围绕海量数据来进行处理分析，从而挖掘数据的价值
虽然大数据没有准确定义，但是总结出来大数据的几个特征
对于整个大数据产业而言，大概可以划分为数据采集(日志采集、业务数据采集、爬虫等)、数据存储、数据分析(离线、实时)、数据挖掘、数据可视化

6V

Volume：数据量大，包含数据采集、存储、分析量都很大。中小型企业的日数据量大约在GB_{TB级别，大型企业的日数据量大约在TB}PB级别
Variety：数据来源、种类和样式多。随着网络的发展，数据的来源越来越多样化，种类也越来越多样化(文字、图片、视频、音频、流媒体等)，样式也多样化(结构化数据、半结构化数据、非结构化数据)
Velocity：数据增长速度快。随着网络的发展，数据的增长速度是越来越快的。根据科学家的估计和计算，全球的数据总量每3-5年会翻一番
Value：数据价值密度低。随着网络的发展，数据总量越来越大，那么需要的数据在数据总量中的占比就越来越低，也就意味着数据价值密度在变低
Veracity：数据的真实性/价值。互联网上的数据/信息良莠不齐，导致数据的质量也参差不齐
Valence：数据的连通性。随着大数据的发展，大数据也衍生出不同的岗位和模块，此时就需要考虑不同模块之间的关联
随着大数据的发展，衍生出其他的特征：Visualization(可视化)，Vitality(动态性)，Validity(合法性)等

Hadoop

简介

概述

Hadoop原本是由Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的、可扩展/可伸缩的、分布式架构
Hadoop之父：Doug.Cutting(道格.卡汀/卡丁)
由于Hadoop的版本混乱，所以在选择Hadoop版本的时候需要注意Hadoop的兼容性问题
Hadoop提供了简单的编程模型在集群中处理大量的数据集
Hadoop能够从一台主机扩展到上千台主机，每一台主机都能够进行本地存储和计算
Hadoop本身提供了探测和处理异常的机制
Hadoop是大数据中的生态框架，大数据中超过70%的技术都依赖或者可以使用Hadoop
Hadoop的搭建分为：单机模式、伪分布式、完全分布式和高可用模式

发展历程

2002年的时候，Doug和Mike Caferalla仿照Google设计一个搜索引擎Nutch，也因此Doug和Mike爬取了全网10亿个网页的数据，爬取到数据之后，就需要考虑数据如何存储
2003年，Google发表了一篇论文<The Google File System>(简称为GFS)，在这片论文中阐述了分布式存储的思想和原理，但是Google并没有对外公开使用GFS
Doug和Mike发现了这篇论文之后，根据这篇论文阐述的原理实现了NDFS(Nutch Distributed File System)，从而解决了数据存储的问题，下一个问题就接踵而来：如何处理这些数据
2004年，Google发表了一篇论文<The Google MapReduce>，在这篇论文中阐述了分布式计算的思想和原理，同样，Google没有对外公开使用这个框架
Doug再次发现这篇论文，仿照这篇论文实现了Nutch MapReduce，从而解决了分布式计算问题，到此Nutch搜索引擎正式面世
到了Nutch0.8版本的时候，Doug发现NDFS和MapReduce不只是可以用于搜索引擎，还可用于其他的分布式场景，也因此将这些组件提取出来，构成了Hadoop，其中NDFS改名为HDFS(Hadoop Distributed File System)
后来，Doug从原公司离职，入职了Yahoo!。在Yahoo!期间，投入了大量的精力、财力和人力研发Hadoop
大约在2012年，Yahoo!将Hadoop、HBase、Pig等大数据框架贡献给了Apache

发行版本

Apache版本：原生版本，开源、免费的，由Apache社区维护，但是版本比较混乱，学习的时候需要注意版本和组件之间的兼容性问题
CDH版本：收费、闭源的商用版本，由Cloudera公司开发的版本，CDH版本中提供了非常好的组件的部署和维护的特性，同时CDH还提供了良好的集群监控性能。在CDH6.3版本之前，还提供了试用版；从CDH6.3开始，全面收费，不再提供试用版。收费不菲，之前每节点每年收费4000美元
Horton Works版本：收费、开源的商用版本(HDP)，开始是由Horton公司开发，提供了较为灵活的配置，允许进行二次开发，所以HDP监控和部署性能不如CDH，收费相对便宜：每10个节点每年收费12500美元。后来HDP被Cloudera公司收购，HDP和CDH进行了整合，整合成CDP。现在CDP收费是每节点每年10000美元

版本

Hadoop1.X：包含Common、HDFS和MapReduce。最早的版本，停止使用
Hadoop2.X：包含Common、HDFS、MapReduce和YARN。市面上部分公司还在使用。需要注意的是，Hadoop1.X和Hadoop2.X不兼容。Hadoop2.X中的部分版本之间也存在兼容问题
Hadoop3.X：包含Common、HDFS、MapReduce和YARN。市面上部分公司使用。Hadoop3.X基本上兼容Hadoop2.X

模块

Hadoop Common：公共模块
Hadoop Distributed File System (HDFS™)：分布式文件存储系统
Hadoop YARN：任务调度和集群资源管理
Hadoop MapReduce：基于YARN的分布式计算系统

完全分布式安装

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

修改主机名

vim /etc/hostname
# 删除掉原来的，改成自己的主机名

进行主机名和IP的映射

vim /etc/hosts
# 在文件中添加三台主机的IP 主机名，例如
10.16.2.191 hadoop01
10.16.2.194 hadoop02
10.16.2.193 hadoop03

关闭SELINUX

# 编辑文件
vim /etc/selinux/config
# 将SELINUX的值改为disabled
SELINUX=disabled

重启
```
reboot
```

免密互通

# 产生密钥
ssh-keygen
# 拷贝公钥
ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03
# 测试
ssh hadoop01 # 如果不需要密码，则输入logout
ssh hadoop02 # 如果不需要密码，则输入logout
ssh hadoop03 # 如果不需要密码，则输入logout

进入软件预安装目录，上传或者下载Hadoop安装包

cd /opt/presoftware/
# 上传或者下载Hadoop安装包
wget http://lab.tenwhale.com:8083/hadoop-3.2.4.tar.gz

解压
```
tar 
```