Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序

Spark本地开发环境搭建:隔离、验证与可扩展的三步闭环法 Apache Spark 是一个分布式计算引擎,其本地开发环境并非简单的软件安装任务,而是一个涉及JDK版本兼容性、Hadoop二进制绑定、Python-JVM通信协议(Py4J)、类路径隔离与配置驱动扩展的系统性工程。理解 Spark 运行时原理——如 Catalyst 优化器触发条件、local[*] 模式下的 Driver 网络绑定机制、以及 spark-sql 模块的依赖树完整性——是规避 ClassNotFoundException、NoSuchMethodError 和 Py4J 通信失败的关键 阅读详情

学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。
本项目源码已托管于Github –>【Spark-wordcount】

第一步 在EclipseIDE中安装Scala插件

在Eclipse中安装Scala插件
这里写图片描述
这里写图片描述
这里写图片描述

第二步 创建Scala Project

创建Scala 项目
这里写图片描述
这里写图片描述
这里写图片描述

第三步 给Scala项目注入maven依赖

将Scala 项目 转为 Maven 项目
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.elon33.scala</groupId>
    <artifactId>WordCount</artifactId>
    <version>0.0.1-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.2.1</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src</sourceDirectory>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.3.1</version>
            </plugin>
        </plugins>
    </build>
</project>

第四步 设置Scala Compiler 以及修改Scala Libarary Container版本

当设置完pom.xml,我们可以看到有一些错误出些,主要错误来源于编译器交叉编译,Scala源码包版本不对引起的。
这里写图片描述
在这个项目中,从pom.xml中可以观察到spark版本是spark-core_2.11,因此Maven Dependencies中已经集成了Scala2.11,因此可以通过指定编译器版本和源码包版本解决Errors。
这里写图片描述
这里写图片描述

第五步 Maven 编译打包

通过对项目进行 Maven Install 可以得到可运行的jar包
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
编译好的jar包中包含的class文件
这里写图片描述

第六步 Spark 集群上运行

将jar包发送到Spark集群上运行

spark-submit --class com.elon33.wordcount WordCount-0.0.1-SNAPSHOT.jar ../opt/modules/spark-2.2.1-bin-hadoop2.7/README.md ./wordcounts

第七步 计数结果

单词程序的统计结果

[elon@hadoop scala]$ cd wordcounts/
[elon@hadoop wordcounts]$ ls
part-00000  _SUCCESS
[elon@hadoop wordcounts]$ cat part-00000 
(package,1)
(For,3)
(Programs,1)
(processing.,1)
(Because,1)
(The,1)
(page](http://spark.apache.org/documentation.html).,1) 
......

参考资料:
[1].Using Scala IDE on Maven projects http://scala-ide.org/docs/tutorials/m2eclipse/

转载请注明出处:http://blog.youkuaiyun.com/coder__cs/article/details/79047053
本文出自【elon33的博客】

eclipse+maven+scala+spark项目环境搭建 eclipse+maven+scala+spark项目环境搭建win7自用记录eclipse+maven+scala+spark项目环境搭建java的安装:Maven的安装和设置:对IDE进行修改和安装相应的软件:新建spark项目:hadoop设置运行测试 eclipse+maven+scala+spark项目环境搭建 几个重要的点: eclipse的安装,maven的配置,版本问题,一些问题尝... 阅读详情

相关推荐

scala eclipse maven环境搭建

NULL 博文链接:https://blackproof.iteye.com/blog/2242759

MapReduce之WordCount程序打包

provided

anglemanyi的博客 883

保姆级教程:在iQuant平台从零写一个Python量化策略(附完整代码示例)

本文提供了一份详细的iQuant平台Python量化策略开发教程,从环境准备到策略实现、回测优化,再到实盘运行,每个步骤都配有完整代码示例和常见问题解决方案。适合量化交易新手快速上手,掌握双均线策略等核心开发技巧。

weixin_42783709的博客 485

eclipse构建maven+scala+spark工程

本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行。最后,成功运行scala编写的spark程序。   刚开始我的eclipse+maven环境是配置好的。 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1。 当初构建eclipse+maven环境

wanglz666的专栏 1万+

Matplotlib图片尺寸调整全攻略:从figsize到savefig的实战技巧

在数据可视化与科学计算中,图形尺寸控制是影响图表可读性与专业度的基础环节。其核心原理在于协调逻辑尺寸(英寸)与物理输出(像素)的映射关系,这直接决定了信息呈现的清晰度与布局合理性。从技术价值看,精准的尺寸控制能提升图表在不同媒介(如学术论文、报告、网页)中的适配性,避免显示不全、模糊失真等常见问题。在应用场景上,无论是Jupyter Notebook中的交互探索、自动化报告的批量生成,还是满足严格出版要求的插图制作,都需要掌握对应的尺寸调整策略。本文聚焦于matplotlib中的figsize参数、rcPa

weixin_30899023的博客 331

物联网定位技术|实验报告|实验一 Wi-Fi指纹定位

全球定位系统是迄今为止应用最为成功的地位系统,具备高精度的定位能力,但在室内和高楼密布的城区等信号遮挡严重的密集环境中,由于接受机捕获不到足够强度的卫星信号,GPS的定位质量难以保证甚至无法完成定位,使其可用性受到严重制约。由于室内环境下都普及了WiFi,因此利用WiFi进行定位无需额外部署硬件设备,是一个非常节省成本的方法。

m0_57656758的博客 3357

eclipse构建maven scala 项目 编译成功

eclipse构建maven+scala+spark工程 eclipse构建maven scala 项目 编译成功

小草君技术专栏 1万+

基于大模型的JMeter日志智能分析服务化实践

在软件性能测试领域,日志分析是定位系统瓶颈、评估稳定性的关键环节。传统基于规则或正则表达式的分析方法,在面对格式多变、上下文关联复杂的海量日志时,往往效率低下且难以深入。大语言模型(LLM)凭借其强大的自然语言理解与推理能力,为这一挑战提供了新的解决方案。其技术价值在于能够自动化地从非结构化文本中提取语义信息、关联分散的上下文,并生成可操作的根因分析与优化建议,从而将工程师从繁琐的日志筛查中解放出来,显著提升问题诊断的深度与效率。这一技术可广泛应用于自动化测试报告生成、实时监控预警、脚本调试辅助等工程实践场

weixin_28839549的博客 340

eclipse 打包jar及提交spark执行步骤

1,export对应的源文件。默认finish即可。 2,用解压工具包编辑manifest.mf文件。 其中 Main-Class: com.example.myapp.MyAppMain   //执行main主类 Class-Path: mail.jar activation.jar                        //依赖的jar包,集群中要能找到。 编辑好之后

果然好吃的专栏 2268

Docker容器化部署Ceph集群:从零搭建高可用分布式存储

本文详细介绍了如何使用Docker容器化部署Ceph集群,从零搭建高可用分布式存储系统。通过环境一致性、快速扩容和资源隔离等优势,Docker显著提升了Ceph集群的部署效率和运维便捷性。文章涵盖硬件规划、镜像选择、单节点部署、多节点扩展及性能调优等实战内容,帮助开发者快速掌握分布式存储系统的容器化部署技巧。

weixin_29081101的博客 426

2024年数字IC秋招-华为机试-数字芯片-实习笔试题

笔试题目:40个选择题A.综合时不同文件列表内的宏定义仅在本列表生效B.宏定义会覆盖,不需要单独undefC.仿真时出现宏定义冲突以最后一次值为准D.宏定义最好在各文件中随用随定义A.4/9B.4/6C.01D.0/6。

qq_42135020的博客 2892

eclipse+scala+spark+maven的配置

1. 首先通过菜单的Help选中Eclipse Marketplace,出现如下界面: 再Find框中输入Scala,会出来Scala IDE插件,安装这个插件,就可以在eclipse上使用scala编写程序了。 2. 点击Help中的Install New Software,出来如下图,点击Add按钮添加url: http://alchim31.net/m2e-scala/upd

qlynh的博客 2962

7.19华为OD机试真题 新系统 - 物流仓储多维度成本利润综合查询系统 (Java/Py/C/C++/Js/Go)

7.19华为OD机试真题 新系统 - 物流仓储多维度成本利润综合查询系统 (Java/Py/C/C++/Js/Go)

算法大师! 621

使用Eclipse 4.5 + Maven 3 打包Scala/Spark项目

本文介绍了在Eclipse Mars 下运行Maven打包Scala 项目。由于实际工作中我们用到Spark,最后会顺带介绍如何打包Spark项目。 Scala官网上推荐sbt+Intellj,但是更加熟悉Eclipse加上Maven,因此使用这两个工具开发打包Spark项目。

fz1989的专栏 7602

【QCA6174】QCA6174 DFS认证的时候会有概率信道不会跳转的情况,通常跳转成功概率只有25%问题分析及解决方案

Master设备需要测试的项目。

wgl307293845的博客 753

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

《Spring Boot极简教程》第9章 Spring Boot集成Scala混合Java开发

第9章 Spring Boot集成Scala混合Java开发 本章我们使用Spring Boot集成Scala混合Java开发一个Web性能测试平台。 使用到的核心技术: 后端: phantomjs scala java springboot velocity jpa maven mysql 前端: jquery bootstrap adminLTE...

AI天才研究院 9247

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

windows本地Eclipse开发spark程序打包到集群运行

windows环境下基于Eclipse开发spark的配置可以看上一篇博文:https://blog.youkuaiyun.com/ASN_forever/article/details/84747317 本篇主要记录如何在windows本地用Eclipse开发spark程序以及如何打包到Linux集群去运行。   首先在Eclipse中创建一个maven项目,并配置好pom(具体细节看上一篇配置博文)...

ASN_forever的博客 1481

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Eclipse+maven+scala+spark环境搭建

Eclipse+maven+scala+spark环境搭建

行人事,知天命 5955

Eclipse集成Maven和Scala

1.安装Maven 第一步,在Apache官网下载maven:http://maven.apache.org/download.cgi 第二步,解压maven压缩包,配置环境变量: MAVEN_HOME=D:\maven-3.2.5 PATH=%MAVEN_HOME%\bin 第三步,在cmd中输入:mvn -version 第四步,修改maven仓库存储位置 在mave

GatsbyNewton 8506

eclipse创建maven管理Spark的scala以及eclipse的Maven配置

说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。由于我个人以前是纯粹的Pythoner,一直使用的都是PyCharm,然而最近换了新工作后,由于各种原因,要么使用付费软件,要么使用免费软件,所以,我被迫选择了eclipse以及scala进行spark程序的开发。既然无法拒绝,那就好好享受,下面就为您介绍一下eclipse + M...

u013429010的博客 1337

eclipse集成maven和scala开发环境

一.本地安装maven,eclipse设置maven环境 maven安装可见博客:https://blog.youkuaiyun.com/qq_36940806/article/details/86413799 eclipse配置maven可见博客:https://blog.youkuaiyun.com/qq_36940806/article/details/86511535 二.eclipse安装scala...

赴前尘 501

Spark 之 Java+Maven 工程构建的一点坑

Class 不兼容 有如下的错误, java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVersionUID = -544785532952609...

wuhulala的休息室 1525

Spark:用Scala和Java实现WordCount 并打包

http://www.cnblogs.com/byrhuangqiang/p/4017725.html 转载于:https://www.cnblogs.com/wangleBlogs/p/10102358.html

weixin_30585437的博客 181

idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

maven+scala+idea创建第一个wordcount项目,打包成jar并用命令行在spark on yarn集群上运行。

勤劳的小蜜蜂啊~ 1万+

eclipse+scala+java+maven 整合实践

一、软件版本 Eclipse Mars.1 (4.5.1) Apache Maven 3.3.9 二、下载scala plugin 1.在scala-ide.org网站上可以找到链接和下载地址 http://scala-ide.org/download/current.html 2.打开Eclipse,Help -&gt; Install New Software(因网络问题,这个没...

hellozhxy的博客 1021
上一篇: Spark构建独立应用 | sbt应用构建打包
下一篇: 配置和启动Spark | local模式以及standalone模式
gamedev˚
博客等级 码龄12年 280粉丝 293原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值