- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark会产生shuffle的算子
Spark会产生shuffle的算子去重def distinct()def distinct(numPartitions: Int)聚合def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]def reduceByKey(partitioner: Partitioner, func: (V, V) =...
2019-08-14 10:55:58
741
原创 Linux常用命令大全
Linux常用命令大全系统信息arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CP...
2019-07-31 17:21:10
297
原创 Hadoop YARN的基本组成和工作流程
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。介绍：①YARN（Yet Another Resource Negotiator）②通用的资源管...
2019-07-15 09:50:19
415
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人