
大数据
一只程序cat
这个作者很懒,什么都没留下…
展开
-
SpringBoot操作HDFS Api报错
SpringBoot操作HDFS Api报错org.apache.hadoop.ipc.RemoteException: Permission denied: user=user, access=WRITE, inode="/input_fruit":root:supergroup:drwxr-xr-x报错如下:org.apache.hadoop.ipc.RemoteException: Permission denied: user=user, access=WRITE, inode="/input_原创 2020-11-19 09:35:39 · 368 阅读 · 0 评论 -
Centos7下安装与使用数据转换工具Sqoop
一、概述Sqoop是一款开源工具,主要是用于在Hadoop或Hive与传统数据库(如:MySQL、Oracle等)进行数据传递,它可以将一个关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导出到关系型数据库中。甚至可以使用Sqoop将数据从数据库中转移到Hbase中。二、Sqoop安装1、下载与解压首先下载你需要的sqoop版本(http://archive.apache.org/dist中一般可以下载到你需要的关于大数据方面的组件)我这里使用的是 sqoop-1.4.6.原创 2020-11-13 16:23:51 · 465 阅读 · 0 评论 -
Centos7下安装HBase1.4.13
Centos7下安装HBase1.4.13一、环境基础安装Hbase前需要确保已经安装了hadoop和zookeeper,可参考Centos7下安装Hadoop2.8.5和Centos7下安装zookeeper伪集群二、安装HBase1.4.131、使用工具将windows中下载的HBase的安装包复制到Centos环境下,并切换到hadoop用户,对压缩包解压su hadooptar -zxvf hbase-1.4.13-bin.tar.gz解压后重命名并移除压缩包mv hbase-1.原创 2020-11-11 10:22:07 · 435 阅读 · 0 评论 -
Centos7下安装Hadoop2.8.5
Centos7下安装Hadoop2.8.5一、准备Linux环境1、修改主机名vi /etc/sysconfig/network加入以下内容NEKWORKING =yesHOSTNAME=hadoop02、修改主机名和IP的映射vi /etc/hosts加入以下内容192.168.33.61 hadoop03、关闭防火墙#查看防火墙状态systemctl status firewalld#关闭防火墙systemctl stopfirewalld#关闭防火墙开机自启原创 2020-11-10 19:47:42 · 408 阅读 · 0 评论