moledyzhang的博客

代码：from pyspark import SparkContextsc = SparkContext()rdd.getNumPartitions()rdd.glom().collect()遇到的问题： 执行rdd.glom().collect()时出现如下错误：Py4JJavaError: An error occurred while calling z:org.apache.spar

本文以服务器日志分析为例，给大家展示真实场景中，怎么用pySpark去完成大数据的处理和分析的。总述这里的应用主要包括4部分： Part 1: Apache Web服务器日志格式 Part 2: web服务器日志初步解析 Part 3: web服务器日志进一步解析和可视化 Part 4: 对返回404的结果做分析part 1 Apache Web服务器日志格式这里用到的服务器日志格式是 Ap