
Hadoop
杯酒故人
有梦就追,没梦就想。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HBase集群安装及集成
Hbase集群搭建 注意:在安装hbase或者hadoop的时候,要注意hadoop和hbase的对应关系。如果版本不对应可能造成系统的不稳定和一些其他的问题。在hbase的lib目录下可以看到hadoop对应jar文件,默认情况下hbase下lib的jar文件对应hadoop的相对稳定的版本。如果需要使用其他的hadoop版本,需要将hbase lib下的hadoopjar包,替换掉需要使用的...原创 2019-10-31 14:58:54 · 148 阅读 · 0 评论 -
Spark集群的安装及高可用配置
Spark集群的安装及高可用配置 前期需求:Hadoop和Scala必须已经安装完成 步骤: ①进入spark下载网站中https://spark.apache.org/downloads.html (红框的部分是选择tar包的版本,选择完毕之后点击绿框的部分下载) ②下载完成之后用xftp将安装包传服务器的opt文件夹下。然后用tar命令解压。解压完成之后删除安装包。再然后进入/etc/pro...原创 2019-10-31 12:27:47 · 610 阅读 · 0 评论 -
Sqoop简介安装及使用
Sqoop简介 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个: 导入、迁入 导出、迁出 导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据:从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具,和 HDFS,...原创 2019-10-31 12:03:34 · 217 阅读 · 0 评论 -
集群报错整理
一、伪分布式搭建好以后再次执行格式化报错:java.net.UnknownHostException: bogon: bogon: 配置core-site.xml etc/Hadoop/core-site.xml: <configuration> <property> <name>fs.defaultFS</name> ...原创 2019-10-31 11:51:13 · 381 阅读 · 0 评论 -
Hadoop完全分布式搭建,基于乌班图系统
因为现在集成的工具很多,建议在接触这一块的过程中还是自己找几个主机,亲手搭一遍集群,更好的熟悉底层!本文只是搭建的过程没有理论!手搭集群时先将各节点网络、ssh配置好!然后在一台机子上操作配置文件,直接分发到各节点! 一、乌班图网络设置 乌班图 给root用户设置密码 sudo passwd root ubuntu 系统分配固定 ip sudo vim /etc/network/interface...原创 2019-09-05 10:30:39 · 574 阅读 · 0 评论