k393393的博客

前提 使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1，三个服务器节点master，salve1，slave2 1、安装scala 1)下载scala 下载地址 https://www.scala-lang.org/download/ 我这里下载了scale 2.11版本 上传压缩包到centos，然后解压 tar -zxvf scala-2.11.6.tgz ...

我是先安装的hadoop，后安装了hive，启动hive正常，但是安装了spark之后启动hive出现以下异常 启动hive 报错，spark-assembly-.jar: No such file or directory 原因： 我用的spark版本是2.3.3，在spark2以上的版本，在spark2之前的lib中可以找到spark-assembly-.jar，但是在spark2之后lib...

1、hadoop 1）hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapRed...