
Hadoop
SL_World
中国科学院大学计算机应用技术专业在读研究生
展开
-
在Ubuntu16上的Hadoop单节点集群安装步骤
1 安装JDKjava -versionsudo apt-get updatesudo apt-get install default-jdkjava -version键入java -version并执行后当出现如下图java版本则安装成功。 2 设定SSH(Secure Shell)无密码登录sudo apt-get install sshsudo apt-...原创 2018-03-17 18:18:00 · 888 阅读 · 0 评论 -
HBase 与 Hive 的区别和关系
原文出处:https://blog.youkuaiyun.com/andrewgb/article/details/50493088看到了很多博文中对HBase 与 Hive 的区别做了一些说明,关于这个问题,在刚开始学习 HBase 和 Hive 时就有了这个问题在我脑海中,所以在看到这些博文后,忽然觉得茅塞顿开,可能还需要一段时间的消化和吸收,但是已经比之前明白了许多,写下这篇博文,供日后使用。一 ...转载 2018-12-11 20:40:27 · 392 阅读 · 0 评论 -
HBase2.1.0表操作命令
首先进入HBase[root@master ~]# hbase shellHBase ShellUse "help" to get list of supported commands.Use "exit" to quit this interactive shell.Version 2.1.0, re1673bb0bbfea21d6e5dba73e013b09b8b49b89b, ...原创 2018-12-11 15:55:55 · 986 阅读 · 0 评论 -
Hbase2.1.0启动失败解决方案积累
当前CentOS,JDK和Hadoop版本:[root@master ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core)[root@master ~]# java -versionopenjdk version "1.8.0_191"OpenJDK Runtime Environment (build 1.8...原创 2018-12-11 11:49:23 · 3963 阅读 · 8 评论 -
Hbase2.1.0 on Hadoop3.0.3集群(基于CentOS7.5)
完全分布式集群搭建请移步:在CentOS7.5上搭建Hadoop3.0.3完全分布式集群当前CentOS,JDK和Hadoop版本:[root@master ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core)[root@master ~]# java -versionopenjdk version &quot原创 2018-12-10 17:00:01 · 1287 阅读 · 2 评论 -
Zookeeper集群搭建
原文出处:http://www.cnblogs.com/qingyunzong/p/8619184.htmlZooKeeper 软件安装须知鉴于 ZooKeeper 本身的特点,服务器集群的节点数推荐设置为奇数台。我这里我规划为三台, 为别为 hadoop1,hadoop2,hadoop3回到顶部ZooKeeper 的集群安装ZooKeeper 的下载下载地址:http://mirror...转载 2018-12-10 14:53:58 · 327 阅读 · 2 评论 -
在CentOS7.5上搭建Hadoop3.0.3单节点集群
当前CentOS和JDK版本:[root@master ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core)[root@master ~]# java -versionopenjdk version "1.8.0_191"OpenJDK Runtime Environment (build 1.8.0_191-b...原创 2018-11-28 14:50:14 · 855 阅读 · 1 评论 -
在CentOS7.5上搭建Hadoop3.0.3完全分布式集群
单节点集群搭建请移步:在CentOS7.5上搭建Hadoop3.0.3单节点集群完全分布式集群拓扑图:当前CentOS和JDK版本:[root@master ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core)[root@master ~]# java -versionopenjdk version "1....原创 2018-11-28 14:46:59 · 867 阅读 · 0 评论 -
Hadoop3.0.3集群自带WordCount程序测试MapRedece
Hadoop3.0.3自带的实例程序路径在/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar中在HDFS目录中创建input目录[root@master]# hdfs dfs -mkdir /input[root@master hadoop]# hdfs dfs -rm -r /inp...原创 2018-11-28 14:43:13 · 1678 阅读 · 1 评论 -
在Ubuntu16上的Hadoop多结点集群安装步骤
1 复制Single Node Cluster到data1单节点安装及代码请参考:Single Node Cluster安装步骤2 设置data1编辑网络接口文件sudo gedit /etc/network/interfacesauto lo iface lo inet loopback auto ens33 iface ens33 inet static ...原创 2018-03-18 23:19:00 · 509 阅读 · 0 评论 -
基于Django+LayUI+HBase的文献数据挖掘系统的实现
引言:本系统的目标是设计并实现一个基于分布式数据库HBase的文献数据挖掘系统,以帮助科研人员分析出相关科技前沿领域的专家、机构等的学术影响力。并挖掘领域高频词和不同协作者之间的关系图谱,如此便可达到科研决策支持的目的。以下将从几个方面进行简要介绍。一、开发意义科研文献是科技与学术的载体,高效的分析科研文献对科技的发展有着重要的推动作用。准确地提取出期刊会议中科研文献元数据里所隐藏的信息,...原创 2019-06-01 13:37:16 · 3700 阅读 · 2 评论