java调用spark+hdfs计算的一个小demo

最新推荐文章于 2025-06-07 14:09:32 发布

原创

最新推荐文章于 2025-06-07 14:09:32 发布 · 5.6k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java #hadoop #hdfs

最近在入门spark+hadoop，伪分布式安装，部署推荐这几个地址，不错。这边顺手记录一下自己用到的两个小程序。

maven配置

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.landi</groupId>
    <artifactId>testspark</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>testspark</name>
    <description>testspark</description>
    <properties>
        <jdk.version>1.8</jdk.version>
        <spark.version>2.1.0</spark.version>
        <hadoop.version>2.6.5</hadoop.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </depen