
我要学大数据
西红柿系番茄
知其然,知其所以然。
展开
-
使用建造者模式书写Hadoop MapReduce作业代码
Hadoop的MapReduce作业提交代码,都是相对固定的一段八股文,如下现在,我们就对Job对象的构建封装一个工厂类,以便简化书写。非空的属性放在Builder的构造函数里。/** * MapReduce Job 构造器 * * @author Zhou Huanghua */public class MapRedJobFactory { private MapRedJobFactory() { throw new UnsupportedOperatio原创 2020-09-22 21:41:34 · 506 阅读 · 0 评论 -
Linux的VI编辑器
vi或vim(vi的增强版本)是Linux最基本的文本编辑工具。先上一张图:图片来源于百度vi有三种工作模式:命令模式、文本编辑模式和最后行模式。不同工作模式下的操作方法有所不同。1.命令模式:命令模式是启动vi后进入的工作模式,并可转换为文本编辑模式和最后行模式。在命令模式下,从键盘上输入的任何字符都被当作编辑命令来解释,而不会在屏幕上显示。如果输入的字符是合法的vi命令,则vi...原创 2018-11-19 23:20:04 · 261 阅读 · 0 评论 -
归并排序
简单粗暴的解释:内部有序外部无序的两个数组的排序。归并排序以O(NlogN)最坏情形时间运行,而所使用的比较次数几乎是最优的。它是递归算法一个好的实例。典型应用场景:MapReduce。 递归:一个方法调用自己本身。其关键点是要找到结束方法递归调用的条件出口。归并排序的合并算法说明,内容直接截取自《数据结构与算法分析·Java语言描述·第3版》。一、实现Java语言描述...原创 2018-12-01 14:32:19 · 361 阅读 · 0 评论 -
使用Docker搭建Hadoop单机版
其实,直接安装也很简单,官方说明文档:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html。使用Docker安装只是为了不想污染我的云服务器...首先确保你的机器关了防火墙(或者安装完后开启指定端口的白名单),然后就是已经有了Docker,还没安装的可以参考我的另一篇博...原创 2019-07-21 01:46:03 · 6027 阅读 · 0 评论