
Hadoop学习笔记
拉克因
互联网打工人
展开
-
Maven中配置Hadoop 2.x版本
这几天在学习Hadoop,下载的是2.9.0的版本。期间,遇到了很多问题,其中有一个问题是在Intellij IDEA中配置Maven依赖项时遇到的。在网上的教程里,配置方式如下:<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> ...原创 2018-02-21 22:23:55 · 3489 阅读 · 1 评论 -
ZooKeeper的安装、配置和使用
这大概是我第一次以教程的形式写博文。但是准确地说,这更应该是一次学习笔记。希望在自己学习的过程中,能够帮助他人。这篇博文的内容是我在学习ZooKeeper的同时撰写的,因此并不是很深入,适合和我一样希望学习ZooKeeper的同学。另外,如果你在文章中发现了错误,欢迎在评论中指正。下载和安装ZooKeeper的下载和安装还是很简单的,首先到Apache网站上找到Zookeeper的镜像...原创 2018-07-18 12:50:39 · 692 阅读 · 0 评论 -
Hadoop2中MR在上Yarn运行的流程
最近一直在补充Hadoop相关知识,发现网上相关知识很多,但是也比较杂,因此希望把自己的理解记录下来,方便日后查阅。首先要说明的是,Hadoop2和Hadoop1中,MapReduce程序的运行流程是不相同的。之前有关JobTracker的文章,讲述的主要是Hadoop1中的知识点。接下来,我按照流程,说一下自己对于Hadoop2中,MapReduce程序运行在Yarn上的流程。第一步...原创 2018-07-18 12:53:56 · 1149 阅读 · 0 评论 -
IDEA下添加Hadoop2依赖
这几天在学习Hadoop,下载的是2.9.0的版本。期间,遇到了很多问题,其中有一个问题是在Intellij IDEA中配置Maven依赖项时遇到的。在网上的教程里,配置方式如下:<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> ...原创 2018-07-18 12:58:33 · 2500 阅读 · 0 评论 -
Hive中,row_number() over(partition by) 和group by的区别
row_number() over (partition by) 和 group by 的区别现在假设Score表中有如下数据:NameClassGradeZhang SanA80Li SiB83Wang WuA88Zhao LiuC92Chen QiB79Wu BaC85现在需要求得各个班级最高分,那么我们可以...原创 2019-02-20 15:31:16 · 11977 阅读 · 3 评论