
大数据集群安装
zhuzuwei
这个作者很懒,什么都没留下…
展开
-
sqoop的安装和导入数据到hdfs和hive
一、Sqoop 安装1. 下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2. 通过sftp 从本地传到Linux3. 解压 tar -xzvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz4. 配置/etc/profileexport SQOOP_HOME=/usr/local/sqoop-1.4.7export PATH=$PATH:$SQOOP_HOME/bin5. 配置sqoop环境cd/home/hadoop/...原创 2020-10-11 22:31:03 · 479 阅读 · 0 评论 -
centos上zookeeper分布式安装部署
1. 在官网下载zookeeper安装文件,本文安装的版本是3.4.5http://archive.apache.org/dist/zookeeper/2. 下载完成后通过ftp上传到虚拟机,再解压tar -xzvf zookeeper-3.4.5.tar.gz3. 将解压后的文件移动到指定目录中4. 配置相关文件(1) 配置zoo.cfgcp -a zoo_sam...原创 2020-03-22 23:58:06 · 473 阅读 · 1 评论 -
Hive SQL执行mapreduce任务卡在Kill Command
执行 select sid,count(*) as cn from student group by sid;任务一直卡住如下:2020-10-11T14:00:31,407 INFO [main] exec.Task: Kill Command = /usr/local/hadoop-2.7.6/bin/hadoop job -kill job_1602395744321_0002 我的集群部署出错的地方在于hadoop的slaves文件中只配置了2个datanode,而...原创 2020-10-11 14:52:12 · 2266 阅读 · 0 评论 -
Hive的安装配置
操作系统centOS 6.5Hadoop版本:hadoop 2.7.6JDK版本:JDK 1.8ant版本:ant 1.10.5mysql版本:mysql 5.7一、安装准备1. 从官网下载解压hive的bin压缩文件 , 此处使用的是hive-2.1.1版本2. 通过ftp传输到linux系统,使用tar -xzvf apache-hive-2.1.1-bi...原创 2020-10-11 14:37:39 · 455 阅读 · 0 评论 -
Linux环境Hadoop的下载安装
1. Hadoop的下载windows在Apache官网下载2.7.6的binary文件,通过FTP传输到centOS虚拟机。2. 解压安装:tar xzvf hadoop-2.7.6.tar.gz -C /usr/local/hadoop3. 查看安装的版本是多少位的先切换到目录hadoop下的lib/native目录cd /usr/local/hadoo...原创 2018-08-15 11:02:53 · 32036 阅读 · 6 评论 -
Linux配置SSH免密登录
一、准备1. 同步时间date 命令可以查看虚拟机当前日期和时间date -s "2018-08-08 08:08:08" 手动设置时间ntpdate cn.pool.ntp.org 网络同步时间2. 设置主机名方式一:vim /etc/sysconfig/network设置HOSTNAME=node-1方式二:vim /etc/hosts编辑,在末尾新增ip和对应...原创 2018-08-15 10:57:48 · 1068 阅读 · 0 评论 -
Linux环境下安装JDK
1. windows主机先下载好jdk for linux,再通过FTP传输到虚拟机centos6.52. 在虚拟机上对JDK压缩文件进行解压缩命令:tar xzvf jdk-8u181-linux-x64.tar.gz –C /usr/local3. 随后进入/usr/local查看,发现多了一个jdk1.8.0_181的文件夹,为方便后续处理,可以将其重命名为jdkmv...原创 2018-08-15 10:56:22 · 876 阅读 · 0 评论