
Hadoop
ITshu
just do IT
展开
-
HBase2.2.4完全分布式安装(基于Hadoop3.2.1)
由于hbase需要依赖于hadoop和zookeeper集群,所有首先需要安装准备好hadoop和zookeeper集群,参看前面的文章:hadoop安装 https://blog.youkuaiyun.com/ITshu/article/details/105409254zookeeper安装:https://blog.youkuaiyun.com/ITshu/article/details/105817034...原创 2020-04-30 14:21:44 · 2188 阅读 · 0 评论 -
Zookeeper完全分布式集群的搭建
搭建zookeeper集群需要最少三台机器,需要安装jdk作为基础支持。此次使用的Zookeeper3.6.0版本。1、准备虚拟机准备三台虚拟机,将ip和端口规划好。这里最好将主机名,以及主机名和ip的映射关系配置好,配置此项关系可以参看Hadoop完全分布式集群搭建。2、安装jdk在虚拟机中安装jdk,并且配置jdk的环境变量。3、搭建集群1.下载安装包下载zookeeper的安装...原创 2020-04-28 16:39:14 · 860 阅读 · 0 评论 -
HIVE 基础知识
hive 其实是一个客户端,类似于navcat、plsql 这种,不同的是Hive 是读取 HDFS 上的数据,作为离线查询使用,离线就意味着速度很慢,有可能跑一个任务需要几个小时甚至更长时间都有可能。在日常开发中 Hive 用的还是挺广泛的,常做一些统计工作,就我自己工作来看其实 80% 的工作由 Hive 的基础部分就能完成了,只有很少的情况需要用到一些复杂查询或者调优工作。本文着重挑选出...转载 2020-04-14 14:22:26 · 665 阅读 · 0 评论 -
Linux环境下安装MySQL5.7(tar.gz)
下载地址:https://dev.mysql.com/downloads/mysql/5.7.html#downloads解压tar -xvf mysql-5.7.26-linux-glibc2.12-x86_64.tar 再移动并重命名一下mv mysql-5.7.26-linux-glibc2.12-x86_64 /usr/local/mysql创建mysql用户组和用户并修改...转载 2020-04-09 14:37:26 · 776 阅读 · 0 评论 -
Linux下安装和配置Java环境
本文详细介绍Linux系统下配置Java环境的方法,使用JDK1.8版本。1. 从Oracle官网上下载Java8版本。下载链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2. 上传Java包到Linux系统。使用rz命令将Java tar包上传到Linux系统。(...原创 2020-04-09 14:18:10 · 444 阅读 · 0 评论 -
Hadoop集群配置免密SSH登录方法
Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法。一、Hadoop集群环境192.168.1.13 hadoop01192.168.1.14 hadoop02192.168.1.15 hadoop03192.168.1.16 hadoop04二、免密登录原理每台主机authorized_keys文件里面包含的主机(ssh密钥),该主...原创 2020-04-09 14:08:54 · 2855 阅读 · 0 评论