qq_41685509的博客

Hadoop知识点概要，帮助回忆HDFS、MapReduce流程和实现细节。

Hadoop的配置，core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml文件的配置，历史服务器的配置，常用端口号总结。

问题描述HBase启动后HMaster进程闪退，查看log文件Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/":xxyw:supergroup:drwxr-xr-x原因分析原因是我的HDFS权限用户只有xxyw，我以root身份启动HBase无

写在前面Spark程序多是Scala语言编写，Scala语法简单，但是对于初学者，无法知道变量类型，不清晰实现细节，所以我使用Java语言编写Spark程序，旨在熟悉RDD算子的编程方法。以KMeans算法为例，管中窥豹，了解如何使用RDD算子编写Spark程序。本文先讲解使用到的RDD算子，最后附完整代码。1. map(func)对RDD中的每个记录都使用func进行转换，返回一个新的RDD。例，把从文件中读取的每个String类型的记录（每行一个坐标经纬度）转成List类型。JavaRDD&