spark使用SparkContext.textFile(path)方法读取文件报错

最新推荐文章于 2023-02-13 22:26:52 发布

原创

最新推荐文章于 2023-02-13 22:26:52 发布 · 4.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark #hadoop

代码：

public class Wordcount {
   
   

    private static final Pattern SPACE = Pattern.compile(" ");

    public static void main(String[] args) {
   
   
        SparkConf sparkConf = new SparkConf().setAppName("sparkBoot").setMaster("local");

        JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
        //使用外部数据创建RDD 来自于HDFS、本地文件（全部的节点都可以），或者其他Hadoop支持的文件系统 
        //未安装hadoop时 /config 默认来自本地文件系统，可省略file://
        //安装hadoop时 默认来自hdfs 指明来自本地文件系统需使用file:///config
        JavaRDD<String> lines = sparkContext.textFile("/config").cache();

        lines.map(new Function<String, String>() {