little_sloth的博客

Hadoop高可用集群的搭建 一、搭建机器准备条件 一台centos7虚拟机 ， 地址改为静态地址，以及关闭防火墙（systemctl disable firewalld） 二、安装jdk 配置免密登录 ps: 先配置，单机时就要先配置，不要等集群的时候再配置，不然免密登录会让乱的怀疑人生 ssh-keygen -t rsa -P "" cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys 配置单机的hosts

1. 下载hadoop压缩包并解压到相应文件夹中—相当于安装路径，后面会用到 2. 将hadoopBin.rar解压，并将所有文件复制到hadoop解压文件夹下面的bin目录里 解压后的hadoopBin 复制后的： 3. 将hadoop.dll文件复制到C:\Windows\System32 -----需要配置到系统文件中 需要复制文件 粘贴位置： 4. 配置hadoop环境变量 路径是：hadoop安装目录下的bin目录 还需要新建一个hadoop_home路径，按如下截图新建一个

HDFS文件的创建、上传、下载、删除（基于本机） 一、完整的一个Hadoop环境 安装参考 启动hadoop程序 二、新建maven工程 新建参考 三、文件操作 ps:针对文件的操作与Linux虚拟机的操作略有不同 Linux虚拟机的操作 文件的创建 @Test public void create() throws Exception{ Configuration cfg = new Configuration(); //创建配置文件 FileSystem

Hadoop环境下用java代码实现hdfs远程文件的上传和下载 文章目录Hadoop环境下用java代码实现hdfs远程文件的上传和下载一、新建maven工程二、文件的上传三、文件的下载四、生成jar包五、导入jar包并执行操作 一、新建maven工程 过程参考： 此处需要的jar包有： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hado

Hive在adoop集群下的安装 文章目录Hive在adoop集群下的安装一、hive安装前必备步骤二、安装Hive三、配置Hive的环境变量四、测试连接 一、hive安装前必备步骤 Hadoop集群能正常运行 安装参考 MySql安装 安装参考 需要增加以下步骤： 1）输入 ：my -uroot -pok 启动数据库 2）输入：use mysql 创建用户： create user 'bigdata'@'hadoop001' IDENTIFIED BY 'ok'; 4）创建数据库：

Hbase在Hadoop组件中的搭建 一.安装HBase之前的环境搭建 Hadoop集群能正常运行 安装参考：https://blog.youkuaiyun.com/little_sloth/article/details/106964187 Zookeeper环境能正常运行 安装参考：https://blog.youkuaiyun.com/little_sloth/article/details/107005083 二.HBase的安装与环境的配置 下载安装包 将安装包拖入software文件夹中 将压缩包解压到opt目录

# Zookeeper在Hadoop集群下的安装 目录 # Zookeeper在Hadoop集群下的安装## 一、Hadoop集群的配置 三、启动Zookeeper ## 一、Hadoop集群的配置 具体步骤参考：[https://blog.youkuaiyun.com/little_sloth/article/details/106964187]() ps:vbox环境和vmWare的安装步骤是一样的 ## 二、zookeeper安装及配置（集群下的虚拟机都需要） 1. 将zookeeper安装包拖入sof

hadoop和hadoop集群的安装和配置 文章目录hadoop和hadoop集群的安装和配置一、安装centos7.0二、hadoop安装前配置三、安装以及配置Hadoop环境四、启动Hadoop四、测试五、Hadoop集群配置 一、安装centos7.0 安装方式详见：https://blog.youkuaiyun.com/little_sloth/article/details/106785511 二、hadoop安装前配置 安装完虚拟之后，使用moba进行后续操作 1 . 配置免登录: 1） 生成密钥：ss