sinat_40875078的博客

在安装hive之前，请先确保已经搭建好hadoop环境，如果没有完成hadoop环境搭建，可参考文章最全面的CentOS下hadoop的分布式搭建或者CentOS下hadoop的伪分布式安装。 一、下载并解压安装包 下面提供了hive-0.13.1版本的下载链接 链接: https://pan.baidu.com/s/1RcoymkbWsCRUHUKTxrcVmw 密码: dh78 将下载好的安装包解压到指定目录： 二、配置文件 hive的配置文件非常简单。 1、修改conf目录下的hive-env.sh

一、查看本机是否安装了mysql 使用rpm -qa | grep mysql查看本机是否安装了mysql 若安装了则使用rpm -e --nodeps 报名进行卸载 二、下载mysql 链接: https://pan.baidu.com/s/18y4aVsMR0Qhr7bhnuqqadA 密码: 3tv9 三、安装mysql服务器 安装包中一共包含三个文件，首先暗转server服务。 启动server服务 查看密码：改密码用于启动mysql 四、安装mysql客户端 五、启动mysql 使用命令

前言 再看本文章之前，请先确保已经看过CentOS下hadoop的分布式搭建和分布式协作服务框架Zookeeper安装部署两篇文章，因为本文章是建立在它们基础之上的。 一、HA相关介绍 1、为什么出现HA架构 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)（也就是namenode单点宕机导致集群不可用的问题）。 NameNode主要在以下两个方面影响HDFS集群: NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软件

一、Zookeeper是什么 官方文档是这么解释Zookeeper的：它是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。它提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、配置管理、集群管理、共享锁/同步锁等。从设计模式角度来看，它是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理集群中所有结点都关心的数据，然后接受观察者（集群中的结点）的注册，如果这些数据的状态发生改变，zoo

在开始搭建完全分布式之前，请先确保已经掌握hadoop伪分布式的安装。 因为hadoop完全分布式的安装只需在伪分布式的基础上配置三个结点即可，同时对一些配置文件稍加改进。 一、本博客的集群相关配置 本博客主要搭建具有三个节点的完全分布式hadoop集群，结点名称分别为hadoop1、hadoop2、hadoop3。具体信息如下: 二、克隆虚拟机 在搭建好伪分布式的基础，我们不需要在另外单独创建两个虚拟机，直接采用的克隆的方法创建，同时必须确保三台机器的用户名一样。 这部分如果觉得比较困难的同学或者遇到

一、安装java环境 在开始安装hadoop之前，要先确保机器已经安装了java环境，因为hadoop的运行依赖于java。 Java安装链接 二、配置ssh本机免密登陆 首先输入命令ssh-keygen -t rsa回车四下，来获取密匙 然后使用ssh-copy-id 用户名@本机主机名 or 本机IP地址来分发密匙 三、进行hadoop伪分布式安装 1、下载hadoop 链接: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密码: 34ao 2、解

1、在安装JDK之前，需要先使用命令：rpm -qa |grep jdk查看本机是否含有自带的openjdk版本.若含有则使用:rpm -e --nodeps +包名进行强制卸载 因为我的虚拟机不存在jdk，所以我直接进行接下来的安装。 2、首先下载一下jdk安装包，并使用tar -zxvf 包名 -C(制定安装目录) 安装目录命令进行安装 jdk下载链接 密码: rl0j 3、配置相关的环境变量 vim /etc/profile export JAVA_HOME=/opt/module/jdk

如上面两个图所示，每次启动hdfs或者使用hdfs命令的时候总是会出现警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。对于一个码农来说这是不可接受的。 有很多大神在博客中给出了集中解决办法，但是个人都觉得相对复杂。本人通过多次阅读了hadoop官方文档，了解到出现这一警告是因为hadoop/..

前言 最近学习大数据，搭建大数据集群的时候需要在centos上配置各种各样的文件。而centos目前支持的文件编辑器是vim,虽然功能比较强大，但是编辑起来还是比较麻烦。经过一番研究后，了解到可以通过在本机上配置vscode进行远程编辑开发。 首先有一点大家必须知道，网上给了很多教程搭建远程开发环境，但是我的开发环境是CentOS6.4，按照其他大神写的教程，是无法进行ssh连接的，最后查到了原来VSCode远程开发建议CentOS7以上版本，而对于CentOS6需要升级glibc和libstdc++。所以

一、引言 首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下： Hadoop(3.1.1) Ubuntu Linux(64位系统) 二、安装ssh服务 ubuntu中默认是没有安装ssh server的，只有 ssh client,可以使用如下命令...

1.CentOS6.4安装 (1) 下载镜像文件 使用如下网址：https://pan.baidu.com/s/1Ajpcb-W8b-Kwh6I9Hqh4gw 提取码: s57r 。下载镜像文件，也可到官网中进行下载 (2) 创建虚拟机 打开Virtual Box或者VMware，点击“新建”按钮；输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat(32bit)；分配...