weixin_45926547的博客

文章目录一、安装hive 一、安装hive apache-hive-3.1.2-bin.tar 提取码：4n40 mv hive /usr/local # 解决版本差异 rm -rf lib/guava-19.0.jar cp /usr/local/hadoop-2.10.1/share/hadoop/common/lib/guava-11.0.2.jar ./lib/ # 修改环境变量 cd hive/conf mv hive-env.sh.template hive-env.sh vim hive

文章目录一、简介1、核心思想2、处理的主要事务2.1 Map2.2 Reduce 一、简介 MapReduce是Hadoop的核心组件之一，用于大数据的并行处理的计算模型、框架和平台，主要解决海量数据的计算，是目前分布式计算模型应用较为广泛的一种； 1、核心思想 采用分而治之的方法，将复杂问题分解成各个小问题，在逐个解决；且最后再将各个小问题的解进行整合即整个问题的解； 2、处理的主要事务 2.1 Map 主要负责将任务分解，把复杂的任务划分为若干个简单的任务(此类任务之间无必然联系，可单独执行)

# 若要通过页面使用节点名访问需要在window下/etc/hosts下配置节点名 C:\WINDOWS\System32\drivers\etc # 若要访问则需要关闭防火墙 # 查看防火墙状态 firewall-cmd --state # 关闭 systemctl stop firewalld.service # 禁止开机启动 systemctl disable firewalld.service ...

文章目录一、集群配置1、集群部署规划2、配置文件分类默认配置文件自定义配置文件3、配置集群3.1 core-site.xml 核心配置文件3.2 hdfs-site.xml hdfs配置文件3.3 yarn-site.xml yarn配置文件3.4 mapred-site.xml mapreduce配置文件3.5 配置worker3.6 启动 一、集群配置 1、集群部署规划 NameNode、SecondaryNameNode、ResourceManager不要安装在同一台服务器，很消耗内存；

文章目录一、hadoop简介1.1 特性二、HDFS架构二、YARN 架构三、MapReduce架构四、HDFS、YARN、MapReduce三者关系 一、hadoop简介 Hadoop 是由Apache开发的分布式系统的基础架构，主要解决海量数据的存储和分析计算问题； 1.1 特性 高可靠性： 底层维护多个数据副本，若某个存储出现故障，也不会丢失数据； 高扩展性： 可动态扩张，在集群中分配任务数据； 高效性： 在MapReduce下，能够并行工作，提高处理速度； 高容错性： 能够自动将失

文章目录一、安装jdk配置环境变量查看版本检验是否安装成功二、安装hadoop配置环境变量查看版本检验是否安装成功 一、安装jdk jdk-8u321-linux-x64.tar.gz下载地址 打开网页向下滑； # 下载压缩包 wget 网址 # 解压压缩包 tar -zxvf jdk-8u162-linux-x64.tar.gz # 将它移动到用户目录 mv jdk1.8.0_162 /usr/local/ 配置环境变量 打开配置文件 vim /etc/profile 若没有安装