- 博客(6)
- 收藏
- 关注
RSS订阅原创 MR调度算法
MR的三种调度器：当job跑不完，资源利用率低的时候，可以采用这三种调度器：1.FifoScheduler,默认的调度算法,先进先出的方式处理应用,只有一个队列可提交应用,没有应用优先级可以配置.2.CapacityScheduler,容量调度器.多队列的,依靠作业,如果需求资源少了,优先级就会高一些,需求资源多了,优先级就会低一些.3.FairScheduler:公平调度器,多队列的
2015-11-28 14:26:45
2191
原创 HDFS一 HDFS的shell操作
#hadoop fs -ls / 查看HDFS根目录#hadoop fs -mkdir /test 在根目录创建一个目录test#hadoop fs -mkdir /test1 在根目录创建一个目录test1#echo -e 'hadoop second lesson' >test.txt#hadoop fs -put ./test.txt /test 或#hadoop fs -cop
2015-11-11 19:58:43
542
转载 揭秘Apache顶级项目大数据分析引擎 Flink：与Spark的对比与分析
作者：李士窑、卢亿雷、彭远波出处：infoq、csdnApache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持批量和基于流的数据分析，且提供了基于Java和Scala的API。具有如下主要特征：1. 快速Flink利用基于内存的数据流
2015-09-23 10:55:38
1643
原创 求同一号码一天内的上网流量
上网数据1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 246812001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 2001363157991076 1
2015-09-22 19:08:04
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人