hadoop
关注
分享
扫一扫
文章平均质量分 54
learningcoder
这个作者很懒，什么都没留下…
展开
-
HBASE 1.2.7 完全分布式安装
0.前提安装jdk安装hadoop1.下载HBASE 1.2.7 http://mirror.bit.edu.cn/apache/hbase/2.解压$>tar -zxvf hbase-2.1.0-bin.tar.gz apps/创建软连接$>ln -s hbase-1.2.7 hbase3.配置环境变量$>sudo vi /etc/pro...原创 2018-10-19 00:07:14 · 499 阅读 · 0 评论 -
MapReduce二次排序
默认情况下，Map输出的结果会对Key进行默认的排序，但个别需求要求对Key排序的同时还需要对Value进行排序这时候就要用到二次排序了。本章以hadoop权威指南中计算每年最大气温值为例，原始数据杂乱无章2008 332008 232008 432008 242008 252008 332008 132008 222008 332008 332009 232009...原创 2018-09-29 00:43:55 · 161 阅读 · 0 评论 -
Hadoop数据压缩
文件压缩有两个好处1.减少存储文件的所需的磁盘空间2.加少数据在网络和磁盘上的传输 在hadoop中文件压缩方式有很多种，各有千秋压缩要权衡空间和时间两个维度,虽然减少了空间，但增加了cpu的使用率gzip是个通用的压缩工具，在空间和时间性能上居中，后面有案例测试。 Codec是压缩-解压缩算法的一种实现 举例测试将指定文件调用hadoop压缩方...原创 2018-09-21 00:16:34 · 703 阅读 · 0 评论 -
hadoop 伪分布式安装
在一台主机模拟多主机，Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。这种模式常用来开发测试Hadoop程序的执行是否正确2.1 修改配置文件core-site.xml hdfs-site.xmlmapred-site.xml yarn-site.xm...原创 2018-09-11 22:29:13 · 352 阅读 · 0 评论