weixin_45926547的博客

文章目录一、安装hive一、安装hiveapache-hive-3.1.2-bin.tar提取码：4n40mv hive /usr/local# 解决版本差异rm -rf lib/guava-19.0.jarcp /usr/local/hadoop-2.10.1/share/hadoop/common/lib/guava-11.0.2.jar ./lib/# 修改环境变量cd hive/confmv hive-env.sh.template hive-env.shvim hive

文章目录一、简介1、核心思想2、处理的主要事务2.1 Map2.2 Reduce一、简介MapReduce是Hadoop的核心组件之一，用于大数据的并行处理的计算模型、框架和平台，主要解决海量数据的计算，是目前分布式计算模型应用较为广泛的一种；1、核心思想采用分而治之的方法，将复杂问题分解成各个小问题，在逐个解决；且最后再将各个小问题的解进行整合即整个问题的解；2、处理的主要事务2.1 Map主要负责将任务分解，把复杂的任务划分为若干个简单的任务(此类任务之间无必然联系，可单独执行)

# 若要通过页面使用节点名访问需要在window下/etc/hosts下配置节点名C:\WINDOWS\System32\drivers\etc# 若要访问则需要关闭防火墙# 查看防火墙状态firewall-cmd --state# 关闭systemctl stop firewalld.service# 禁止开机启动systemctl disable firewalld.service ...

文章目录一、集群配置1、集群部署规划2、配置文件分类默认配置文件自定义配置文件3、配置集群3.1 core-site.xml 核心配置文件3.2 hdfs-site.xml hdfs配置文件3.3 yarn-site.xml yarn配置文件3.4 mapred-site.xml mapreduce配置文件3.5 配置worker3.6 启动一、集群配置1、集群部署规划NameNode、SecondaryNameNode、ResourceManager不要安装在同一台服务器，很消耗内存；

文章目录一、hadoop简介1.1 特性二、HDFS架构二、YARN 架构三、MapReduce架构四、HDFS、YARN、MapReduce三者关系一、hadoop简介Hadoop 是由Apache开发的分布式系统的基础架构，主要解决海量数据的存储和分析计算问题；1.1 特性高可靠性：底层维护多个数据副本，若某个存储出现故障，也不会丢失数据；高扩展性：可动态扩张，在集群中分配任务数据；高效性：在MapReduce下，能够并行工作，提高处理速度；高容错性：能够自动将失

文章目录一、安装jdk配置环境变量查看版本检验是否安装成功二、安装hadoop配置环境变量查看版本检验是否安装成功一、安装jdkjdk-8u321-linux-x64.tar.gz下载地址打开网页向下滑；# 下载压缩包wget 网址 # 解压压缩包 tar -zxvf jdk-8u162-linux-x64.tar.gz # 将它移动到用户目录mv jdk1.8.0_162 /usr/local/配置环境变量打开配置文件vim /etc/profile若没有安装