【Spark】使用IDEA开发Spark Application以及打包测试

最新推荐文章于 2024-12-24 18:38:55 发布
最新推荐文章于 2024-12-24 18:38:55 发布
阅读量321 收藏 1
点赞数 1
分类专栏： Spark 大数据 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014028317/article/details/103214929
版权
本文详细介绍了如何在IDEA中创建Scala项目，配置Spark SDK，新建scala对象，引入Spark库，并实现从HDFS读取和保存数据。接着讲解了如何打包Spark应用为jar文件，并将其提交到Spark集群运行，以及验证执行结果的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、IDEA新建scala应用

Create New Project

选择scala，IDEA，点击next

项目名称：sparkApp，选择JDK，选择Scala SDK，点击finish

等待加载项目，项目目录结构如下

打开file下的 Project structure

新建目录和设置属性：

把src设置为source；

在src下新建2个目录，main和test，其中main设置为source，t

最低0.47元/天 解锁文章
Turbo C 2.0 官方原版 安装版
02-12
Turbo C 2.0 官方原版安装版，DOS下经典的C编译器，ISO格式，在DOS下可用LOADISO虚拟光驱加载安装，也可以先解压出来在安装。
Turbo C2.0下载_Turbo C2.0官方下载【编程工具】-华军软件园
10-20
为了照顾不熟悉DOS环境软件操作的广大初学者，让大家能在Windows环境下方便地安装turbo c2.0，本安装程序可以将turbo c2.0安装在任意指定目录，无需修改 Options 菜单里的 Directory 选项，即可正常编译标准 C 程序!
重温经典：TurboC 2.0——C语言编程的怀旧之旅
gitblog_06524的博客
09-20 623
重温经典：TurboC 2.0——C语言编程的怀旧之旅 TurboC2.0下载及使用方法 项目地址: https://gitcode.com/Resource-Bundle-Collection/85181 ...
Turbo C 2.0使用教程（非常详细）从零基础入门到精通，看完这一篇就够了
最新发布
A1_3_9_7的博客
12-24 1295
网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
Turbo C 2.0：经典C语言开发环境体验
weixin_35749796的博客
11-23 1177
本文还有配套的精品资源，点击获取 简介：Turbo C 2.0是Borland公司在1987年推出的经典C语言集成开发环境，具有小巧易用、功能强大的特点。它包括编辑器、编译器和调试器，为程序员提供一站式编程体验。尽管被现代IDE取代，Turbo C 2.0因其简洁界面和易配置性仍受初学者和教育机构青睐。压缩包“TC201E.rar”可能包含安装程序、用户手册、示例程序、练习...
Turbo C 2.0
12-17
程序已经封装好了，解压就可以在Win 10上运行Turbo C 2.0，非常方便
Turbo C 2.0下载地址和安装教程（图解）
ccc369639963的博客
01-08 2573
Turbo C 是美国 Borland 公司开发，应用于 DOS 平台上的一个 Ｃ 语言集成开发环境，它集编辑、编译，链接于一身，使得 Ｃ 语言的编辑，调试和测试都非常简捷，编译和链接速度极快，使用也很方便。 Turbo C 最大的优点就是小巧实用，运行速度快。 本教程中给大家准备的是 Turbo C 2.0 版本，可以在 Windows（2000/xp/7） 下完美运行，所有环境都已经配置好，不需要大家修改。 Turbo C 2.0 下载地址： 百度网盘： 链接: https://pan.baidu.co
Turbo C 2.0的下载地址
10-20 750
cid=5E72E127178F74F26119603FE3897D23C947B3D5&t=2&fmt=-以后要下软件自己直接到www.xunlei.com上搜一下就OK了|||华军软件园上有 cid=C53CAA068DC0D9E01142814A0CD36BB4EC7AAD77&t=2&fmt=-|||迅雷网站上的http://119.147.41
Turbo C 2.0 （dosbox版）
06-03
Turbo C 2.0 （dosbox版），适用于高于win7操作系统的电脑使用Turbo C 2.0进行C语言编译。Turbo C是dos最经典的一门编程语言了，也是编程入门者学习必备的语言，有了他就可以轻松dos环境进行编程了。下载下来直接...
Turbo C2.0
03-29
[编辑本段]Turbo C2.0 　　 介绍 　　 　　Turbo C2.0不仅是一个快捷、高效的编译程序，同时还有一个易学、易用的集成开发环境。使用Turbo C2.0无需独立地编辑、编译和连接程序，就能建立并运行C语言程序。因为这些功能都组合在Turbo 2.0的集成开发环境内，并且可以通过一个简单的主屏幕使用这些功能。 　　 基本配置要求 　　Turbo C 2.0可运行于IBM-PC系列微机,包括XT,AT及IBM 兼容机。此时要求DOS2.0或更高版本支持,并至少需要448K的RAM,可在任何彩、单色80列监视器上运行。支持数学协处理器芯片,也可进行浮点仿真,这将加快程序的执行。 [编辑本段]Turbo C 2.0的主要文件的简单介绍 　　INSTALL.EXE 安装程序文件 　　TC.EXE 集成编译 　　TCINST.EXE 集成开发环境的配置设置程序 　　TCHELP.TCH 帮助文件 　　THELP.COM 读取TCHELP.TCH的驻留程序README 关于Turbo C的信息文件 　　TCCONFIG.EXE 配置文件转换程序MAKE.EXE 　　项目管理工具TCC.EXE 　　命令行编译TLINK.EXE 　　Turbo C系列连接器TLIB.EXE 　　Turbo C系列库管理工具C0?.OBJ 不 　　同模式启动代码C?.LIB 　　不同模式运行库GRAPHICS.LIB 　　图形库EMU.LIB 　　8087仿真库FP87.LIB 8087库 　　*.H Turbo C头文件 　　*.BGI 不同显示器图形驱动程序 　　*.C Turbo C例行程序(源文件) 　　其中:上面的?分别为:T Tiny(微型模式)S Small(小模式)C Compact(紧凑模式)M Medium(中型模式)L Large(大模式)H Huge(巨大模式) 　　 Turbo C++ 3.0 　　“Turbo C++ 3.0”软件是Borland公司在1992年推出的强大的——C语言程序设计与C++面向对象程序设计 的集成开发工具。它只需要修改一个设置选项，就能够在同一个IDE集成开发环境下设计和编译以标准 C 和 C++ 语法设计的程序文件。 [编辑本段]C 语言 　　C语言起始于1968年发表的CPL语言，它的许多重要思想都来自于Martin Richards在1969年研制的BCPL语言，以及以BCPL语言为基础的与Ken Thompson在1970年研制的B语言。Ken Thompson用B语言写了第一个UNIX操作系统。M.M.Ritchie1972年在B语言的基础上研制了C语言，并用C语言写成了第一个在PDP-11计算机上研制的UNIX操作系统。1977年出现了独立于极其的C语言编译文本《看移植C语言编译程序》，从而大大简化了把C语言编译程序移植到新环境中所做的工作，这本身也就使UNIX的日益广泛使用，C语言也迅速得到推广。 　　1983年美国国家标准化协会（ANSI）根据C语言问世以来的各种版本，对C语言的发展和扩充制定了新的标准，成为ANSI C。1987年ANSI又公布了新标准————87ANSI C。 　　目前在微型计算机上使用的有Microsoft C、Quick C、Turbo C等多种版本。这些不同的C语言版本，基本部分是相同的，但是在有关规定上有略有差异。 　　C 语言发展如此迅速, 而且成为最受欢迎的语言之一, 主要因为它具有强大的功能。许多著名的系统软件, 如DBASE Ⅲ PLUS、DBASE Ⅳ 都是由C 语言编写的。用C 语言加上一些汇编语言子程序, 就更能显示C 语言的优势了,象PC- DOS ,WORDSTAR等就是用这种方法编写的。归纳起来C 语言具有下列特点: 　　1. C是中级语言 　　它把高级语言的基本结构和语句与低级语言的实用性结合起来。C 语言可以象汇编语言一样对位、字节和地址进行操作, 而这三者是计算机最基本的工作单元。 　　2. C是结构式语言 　　结构式语言的显著特点是代码及数据的分隔化, 即程序的各个部分除了必要的信息交流外彼此独立。这种结构化方式可使程序层次清晰, 便于使用、维护以及调试。C 语言是以函数形式提供给用户的, 这些函数可方便的调用, 并具有多种循环、条件语句控制程序流向, 从而使程序完全结构化。 　　3. C语言功能齐全 　　C 语言具有各种各样的数据类型, 并引入了指针概念, 可使程序效率更高。另外C 语言也具有强大的图形功能, 支持多种显示器和驱动器。而且计算功能、逻辑判断功能也比较强大, 可以实现决策目的。 　　4. C语言适用范围大 　　C 语言还有一个突出的优点就是适合于多种操作系统, 如DOS、UNIX,也适用于多种机型。 　　C语言的优点很多，但是也存在一些缺点，如运算优先级太多，运算能力方面不像其它高级语言那样强，语法定义不严格等。但是这些都不能阻止C语言成为一门广受欢迎的计算机编程语言！
Turbo C 2.0安装版
05-23
Turbo C 2.0_install.rar,Turbo C 2.0安装版。
Borland公司 正版Turbo C2.0
09-16
中文名: Turbo C 英文名: Turbo C(2.00/3.00)_install disk 发行时间: 1989年 制作发行: Borland International, Inc.地区: 美国 Turbo C 按安装分类大概有两种版本：一是通过install安装，原汁原味，而且不存在目录混乱问题，这类网上几乎绝迹；二是直接解压后建立TC.EXE的快捷方式，在WINDOWS下双击运行，目前网上多为此版本。所提供的正是install的安装盘。
官方原版Turbo C 2.0和安装方法
09-02
官方原版Turbo C 2.0和安装方法
Turbo C 2.0 （简体中文）
01-21
Turbo C2.0 介绍 　　Turbo C2.0不仅是一个快捷、高效的编译程序，同时还有一个易学、易用的集成开发环境。使用Turbo C2.0无需独立地编辑、编译和连接程序，就能建立并运行C语言程序。因为这些功能都组合在Turbo 2.0的集成开发环境内，并且可以通过一个简单的主屏幕使用这些功能。 基本配置要求 　　Turbo C 2.0可运行于IBM-PC系列微机,包括XT,AT及IBM 兼容机。此时要求DOS2.0或更高版本支持,并至少需要448K的RAM,可在任何彩、单色80列监视器上运行。支持数学协处理器芯片,也可进行浮点仿真,这将加快程序的执行。 主要文件的简单介绍 　　INSTALL.EXE 安装程序文件 　　TC.EXE 集成编译 　　TCINST.EXE 集成开发环境的配置设置程序 　　TCHELP.TCH 帮助文件 　　THELP.COM 读取TCHELP.TCH的驻留程序README 关于Turbo C的信息文件 　　TCCONFIG.EXE 配置文件转换程序MAKE.EXE 　　项目管理工具TCC.EXE 　　命令行编译TLINK.EXE 　　Turbo C系列连接器TLIB.EXE 　　Turbo C系列库管理工具C0?.OBJ 不 　　同模式启动代码C?.LIB 　　不同模式运行库GRAPHICS.LIB 　　图形库EMU.LIB 　　8087仿真库FP87.LIB 8087库 　　*.H Turbo C头文件 　　*.BGI 不同显示器图形驱动程序 　　*.C Turbo C例行程序(源文件) 　　其中:上面的?分别为:T Tiny(微型模式)S Small(小模式)C Compact(紧凑模式)M Medium(中型模式)L Large(大模式)H Huge(巨大模式)
TurboC2.0.zip
10-27
2. **快速编译**：TurboC2.0使用高效的编译器，能够快速地将源代码转换成可执行程序，减少了开发过程中的等待时间。 3. **内存管理**：它支持C语言的动态内存分配，允许程序在运行时动态创建和销毁内存块。 4. **...
Turbo C 2.0 下载及使用指南
01-19
### Turbo C 2.0 下载及使用指南：详尽解析与注意事项 #### C语言的起源与发展 C语言，作为一门中级语言，自1972年由美国的Dennis Ritchie设计并首次在UNIX操作系统上的DECPDP-11计算机上使用以来，便以其独特的...
Turbo C2.0实用大全(1008页)【完整版】.part2
07-01
注意总共5分，分为三部分，需要全部下载之后才可以解压，下载的时候注意哦。Turbo C2.0实用大全(1008页)【完整版】.part2，1008页，pdf格式
c语言编辑工具下载,Turbo C-Turbo C2.0-Turbo C下载 v2.0.0.0官方正式版-完美下载
weixin_39610774的博客
05-18 645
Turbo C是一款功能快捷高效的C语言编辑器，主要是用来编写C/C++程序，无需独立地编辑、编译和连接程序就能建立并运行C语言程序，软件体积非常的小巧，并且对于电脑方面没有特别的系统要求，功能上Turbo C2.0也是十分的强大，可以利用全屏，同时也能窗口模式进行编译和编辑等等工作。Turbo C特色为了照顾不熟悉DOS环境软件操作的广大初学者，让大家能在Windows环境下方便地安装turbo...
使用TURBO C 2.0语言，写一段代码，格式化软盘的70磁道0面，格式化3个扇区，大小分别是512字节、512字节、1024字节。前两个扇区用F6填充，第三个扇区用48填充。
09-03
### 回答1： 在 TURBO C 2.0 中，您可以使用 biosdisk() 函数来格式化软盘。 下面是一段代码示例： ``` #include <stdio.h> #include <dos.h> int main() { // 定义扇区的大小 unsigned int sector_size[3] = {512, 512, 1024}; // 定义填充字节 unsigned char fill_char[3] = {0xF6, 0xF6, 0x48}; // 格式化磁道 70 面 0 的前三个扇区 for (int i = 0; i < 3; i++) { int result = biosdisk(2, 0, 70, 0, i + 1, 1, sector_size[i], fill_char[i]); if (result != 0) { printf("格式化扇区 %d 失败，返回码: %d\n", i + 1, result); } } return 0; } ``` 请注意，在使用 biosdisk() 函数之前，需要包含 dos.h 头文件。 希望这能帮到您！ ### 回答2： 使用TURBO C 2.0语言，可以通过以下代码格式化软盘的70磁道0面，并分别格式化3个扇区，大小分别为512字节、512字节和1024字节。其中，前两个扇区使用F6填充，第三个扇区使用48填充。 ```c #include<stdlib.h> #include<stdio.h> #include<dos.h> void formatFloppyDisk(){ union REGS regs; regs.h.ah = 0x0;// To format a floppy disk, we set AH=0 regs.h.dl = 0;// Drive number (0=A, 1=B, etc.) regs.x.cx = 0;// Track number to format regs.h.dh = 0;// Head number regs.h.al = 0;// Sector size (0=default, 1=512 bytes, 2=1024 bytes, 3=2048 bytes etc.) int FILL_BYTE = 0;// The byte value to fill the sectors with during formatting int NUM_SECTORS = 3;// Number of sectors to format // To format 70th track 0th head regs.x.ax = 0x1301; // 0x13 = Reset disk system, 01H = Reset only specified drive int86(0x13, &regs, &regs); // BIOS interrupt to reset disk system for (int i=0; i<NUM_SECTORS; i++){ regs.x.ax = 0x3101; // 0x31 = Write Format, 01H = Format only current track regs.x.bx = 0x0001; // 0x00 = Drive A:, 01H = Head 1, 0 = Generate ID Field depending on the disk in the drive 1 = Keep the ID Field all zeros regs.x.cx = 0x0170; // Track number=70(0-79 range) regs.h.dh = 0x00; // Head number=0 or 1 regs.h.al = 0x02; // Control byte=always zero regs.x.dx = i+1; // Sector number starting from 1 regs.x.si = 0x0000; // segment and offset of read/write buffer regs.x.di = 0x0000; // segment and offset of result if(i == 2){ FILL_BYTE = 0x48; // Fill the third sector with 48 regs.x.ax = 0x3102; // 0x31 = Write Format, 02H = Format sequential tracks immediately following the one being formatted }else{ FILL_BYTE = 0xF6; // Fill the first two sectors with F6 } regs.h.ah = FILL_BYTE; // Fill the sector with specified byte int86(0x13, &regs, &regs); // BIOS interrupt to format the specified sector } } int main(){ formatFloppyDisk(); return 0; } ``` 上述代码使用了INT 0x13，即BIOS中断服务例程，来执行软盘格式化操作。通过设置寄存器的不同参数，可以指定要格式化的磁道、面、扇区大小和填充字节。在这个例子中，我们格式化了软盘70磁道0面的3个扇区，前两个扇区使用F6填充，第三个扇区使用48填充。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值