曾经是个DBA

cloudera hadoop 配置 文件 位置

jps时出现如下信息：4791 -- process information unavailable解决办法：进入tmp目录，cd /tmp删除该目录下名称为hsperfdata_{username}的文件夹然后jps,清净了。

使用spark shell进行交互式分析上传一个文件到hdfs上的如下目录/user/hdfs/-bash-4.1$ hadoop fs -put README.md /user/hdfs/-bash-4.1$ hadoop fs -ls /user/hdfsFound 3 itemsdrwxr-xr-x - hdfs supergroup 0 2016-

scala代码如下：import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._/** * 统计字符出现次数 */object WordCount { def main(args: Array[String]) {

生成的测试文件一定要有换行符啊，如果只有一整行就要呵呵了。因为源码里是readline()

>>> 16/10/15 20:07:35 INFO YarnClientSchedulerBackend: Requesting to kill executor(s) 116/10/15 20:07:35 INFO ExecutorAllocationManager: Removing executor 1 because it has been idle for 60 seconds (n