步步为赢的专栏

hadoop命令行 与job相关的：命令行工具 • 1.查看 Job 信息：hadoop job -list 2.杀掉 Job： hadoop  job –kill  job_id3.指定路径下查看历史日志汇总：hadoop job -history output-dir 4.作业的更多细节： hadoop job -history all output-dir

查看目录所占空间         hadoop dfs -du -h /user整个文件空间使用情况     hadoop dfsadmin -report

flume （日志收集系统） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-

·        抽象层次低，需要手工编写代码来完成，使用上难以上手。·        =>基于RDD的抽象，实数据处理逻辑的代码非常简短。。         只提供两个操作，Map和Reduce，表达力欠缺。·        =>提供很多转换和动作，很多基本操作如Join，GroupBy已经在RDD转换和动作中实现。         一个Job只有Map和Reduce两个阶段（P

massive parallel process与 Hadoop有什么关系，还有之前课上学到过NUMA架构。请大牛解释一下概念和联系！谢谢！ 先从NUMA说起吧，NUMA全称为Non-Uniform Memory Access，是主流服务服务器为了提高SMP的可扩展性而采用的一种体系结构。主流服务器一般由多个NUMA节点组成，每个NUMA节点是一个SMP结构，一般由多个CPU组成，并且具有

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-problems-vs-solutions/本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。（1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务