Spark-Java Day 04

最新推荐文章于 2025-12-03 22:28:43 发布
原创 最新推荐文章于 2025-12-03 22:28:43 发布 · 252 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #java #大数据

本文介绍了循环结构的基础概念，包括while、for、do-while等，并解释了foreach增强for循环的特点。此外还探讨了递归的应用场景以及跳转结构中的break语句使用方法。

(上期作业)
在这里插入图片描述

  1. 循环结构（提高复用性，提高扩展性和维护性）
    while
    for
    在这里插入图片描述

    do-while
    do{代码块}while(循环条件)；至少执行一次。

    foreach 增强for循环
    递归
    2 跳转结构
    break ------(switch内， 循环内while,for,do-while)

    在这里插入图片描述

TroubMen
关注
spark-core讲解（day1）
m0_51388399的博客
04-25 1300
什么是spark？RDD概述。spark分布式安装
Spark-java相关算子
修行的博客
07-20 272
大数据第33天-Spark-java相关算子练习 Transformations算子 package com.cs.java.spark; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; i...
java操作spark_Spark原理及Java操作
weixin_39958100的博客
03-02 2834
Spark与MapReduceSpark 运算比 Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余 IO 消耗. Spark 则是将数据一直缓存在内存中,直到计算得到最后的结果,再将结果写入到磁盘,所以多次运算的情况下,...
Spark-Java Day02
Y_Bug的博客
10-29 251
1 数据类型 分类： a 基本数据类型（4类8个）： 整型数据 byte 1个字节 short 2个字节 int 4个字节（程序默认整型数据） long 8个字节 浮点型数据 float 单精度 4个字节 double 双精度 8个字节 （默认） 字符型数据（单引号引起，必有一个字符） char gbk两个字节 utf-8三个字节 布尔型数据（true false） boolean 1个字节 b 引用数据类型：（可以自定义） 字符串数据： String
Spark-Java Day 20
Y_Bug的博客
11-23 1509
1 集合(集合是java中提供的一种容器，可以用来存储多个数据) 1.1 集合体系结构 a 集合主要分为两大系列：Collection和Map,Collection表示一组对象，Map表示一组映射关系或键值对 b Collection根接口 子接口 List Set Queue … public class TestCollection { public static void main(String[] args) { Collection<String> object
Spark-Java Day11
Y_Bug的博客
11-14 1206
1 面向对象三大特性之集成 1.1 继承的好处 提高复用性 1.2 继承的语法 class 类名 extends 父类名｛｝ 1.3 继承使用的时机 a 多个类中有相同的内容，提取中一个父类 b 在写子类时，发现有父类可以继承 2 继承之成员变量 2.1 父类中所有成员变量都会被子类继承下去 如果父类成员变量是私有的，子类不能直接访问 2.2 成员变量不重名 访问成员变量不影响 2.3 成员变量重名 this.成员变量 就近原则（访问子类成员变量） super.成员变量 访问父类成员变量 3 继承之成
Spark-Java Day 12
Y_Bug的博客
11-16 882
1 初始化快 类的五大成员：成员变量、成员方法、构造器、初始化块、内部类 1.1 分类 a 实例化初始化块 每次实例化对象都会自动执行（类似构造器） { //代码 } 功能：对类中多个构造器中相同内容的复用性提高 特点：构造器之前执行 如果有继承： 先执行父类构造器，再执行子类构造器 如果存在初始化块，父类初始化块-负类构造器-子类初始化块-子类构造器 b 类初始化块 在类加载（只加载一次）的时候自动执行的一个代码块,只执行一次 static{ } 特点：在类加载时只执行一次 用途：该类一旦被使用就执行一段
Spark-Java Day 08
Y_Bug的博客
11-10 874
1 类的第二大成员—成员方法（复用性提高，扩展性提高） 类：一组具有相同特征和行为的对象的集合，抽象出来的概念。 属性：通过变量去存储数据 方法：一段可以运行的代码（实现需求） 2 方法原则 a 先声明后使用 b 不调用不执行，调用一次执行一次 调用一次，在栈中压入一个方法栈 3 成员方法的分类 a 实例方法 属于对象，通过对象调用 b 类方法 属于类 4 方法的语法 a 修饰符， 可有可无 b 返回值类型 c 方法名 自定义名字（符合命名规则和规范） d 形参列表 e 方法体 main方法可以写 5 方法
Spark-Java Day 06
Y_Bug的博客
11-08 538
1 数组的操作 1.1 数组的反转 int [] arrs = {1,5,2,3}; 编写程序。让arrs中数组反转。 1. 新建数组进行倒序赋值 2. 对原数组首尾交换 System.out.println("数组反转："); for(int j=0; j< arrs.length/2; j++){ int temp = arrs[j]; arrs[j] = arrs[arrs.length-j-1]; arrs[arrs.length-j-1] = temp;
Spark-Java Day 09
Y_Bug的博客
11-11 1257
1 方法的重载 最终的好处：解决相同类型的方法以及起方法名的问题 方法的要求：在同一个类中不允许出现两个完全相同的方法。 要求： a 同一个类中，方法名可以相同 b 形参列表必须不同（个数、顺序、类型） c 和返回值无关 d 和访问修饰符无关 重载方法调用时，先找完全符合的，找不到完全符合的，找兼容的 如果多个兼容的，则会报错 2 参数传递机制 形参：在方法定义位置，指定形式参数 实参：在方法调用位置，需要指定实际的参数 总结： 3 引用数据类型，栈内存存储的是地址，在方法传参的时候是地址传递–>多个
Spark-Java Day10
Y_Bug的博客
11-13 1003
1 构造器 类的五大成员之一 实例化对象 2 构造器语法 方法：修饰符 返回值类型 方法名（形参列表）｛代码块｝ 构造器： a 没有返回值 b 方法名必须和类名一致 3 构造器的执行时机 在实例化时调用，实例化一次调用一次 a 任何一个类都存在一个无参构造器 b 如果写了构造器就会覆盖，不写，就是默认无参构造器 c 构造器可以重载 4 封装类（JavaBean） 必备三要素： a 私有的属性 b 公有的get/set方法 c 公有的无参构造器 --------------------------------
贺岁大数据入门spark3.0入门Spark-day07.rar
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介...共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，StructuredStreaming，Spark综合案例，Spark多语言开发，Spark3.0新特性，Spark性能调优 。
own_Spark-day01.docx
08-28
使用IDEA编写Spark程序，可以通过创建Scala或Java项目，然后添加Spark的依赖库。IDEA支持Spark的项目模板，可以方便地创建Spark应用，同时利用其强大的代码提示和调试功能。 【集群硬件要求】 Spark集群的硬件需求...
Hive On Spark 统计信息收集深度解析
mn_kw的博客
12-02 507
Spark SQL统计信息收集深度解析 统计信息是Spark SQL优化查询性能的核心元数据，包括表级(行数、大小)、列级(基数、空值、极值)和分区统计。收集方法分为全量(ANALYZE TABLE)和增量(针对分区)，建议优先收集JOIN列和过滤列。统计信息通过CBO优化执行计划，可提升性能2-10倍，但需权衡收集开销(数据扫描+计算+元数据写入)。最佳实践包括：分区表增量收集、关键列优先收集、定期更新策略。合理使用统计信息可显著优化JOIN顺序、过滤估算和资源分配。
Spark解析JSON字符串
最新发布
Appreciate(欣赏)
12-03 50
【代码】Spark解析JSON字符串。
深入理解数据仓库设计：事实表与事实宽表的区别与应用
home_liang的博客
11-29 1141
在数据仓库（Data Warehouse）设计中，事实表（Fact Table）和 事实宽表（Wide Fact Table）是两种常见的存储度量数据的表格。它们在结构、查询效率、存储方式等方面有所不同，选择合适的设计模式对于提高查询性能、减少存储开销以及满足业务需求至关重要。本文将详细介绍事实表与事实宽表的定义、区别及应用场景，并通过实际的 SQL 示例帮助您更好地理解这两种设计模式。
星火链智：领码SPARK融合平台与湖北数据知识产权综合服务平台全栈对接技术白皮书
领码SPARK - 以无代码之星火，燎原数字之未来！
12-01 1208
本文系统阐述了领码SPARK融合平台与湖北省数据知识产权综合服务平台的技术对接体系，基于iPaaS+aPaaS双引擎架构设计，构建"数据-协议-安全-AI"四维协同模型。通过元数据驱动智能映射、零信任安全网关、多模态协议适配器及AI增强质量检测等核心技术，实现知识产权数据资产的标准化封装、合规化流通与智能化服务。全文涵盖对接架构设计、数据格式转换、安全认证机制、AI赋能实践及实施路线图，为政务数据要素市场化配置提供可落地的技术范式。
Spark分桶表实战：如何用分桶减少 40%+ 计算时间
涤生大数据
11-30 436
今年校招面试spark的分桶表这块问的比较多一些，今天借此给小伙伴搞个案例讲讲哈！ 分桶本质上是对文件的划分，其执行逻辑是对分桶key的hash值对桶个数取模，在大表join场景的主要优化逻辑在于通过预先设置分桶+排序，其执行效率得以提高有两个重要原因：避免走Shuffle以及不用在内存中保存Hash数据结构。
Spark Shuffle 深度解析与参数详解
mn_kw的博客
12-02 570
Spark Shuffle 是分布式计算中数据重分布的关键环节，本文深度解析了其核心原理与优化策略。主要内容包括：1) Shuffle 的两种实现方式（Hash Shuffle 和 Sort Shuffle）及演进历程；2) 完整的 Shuffle 生命周期，包含 Write 和 Read 两阶段；3) 三种写入模式（Bypass/Sort/Unsafe）的适用场景；4) 内存管理机制与文件生成过程；5) 数据拉取优化策略，包括连接复用、重试机制和直接内存缓冲区。文章还提供了详细的参数配置指南和性能优化建议
热口袋：Java技术在Spark Day的精彩展示
资源摘要信息:"热口袋（HotPockets）是一个可能用于表示软件项目、代码库或者技术...该项目可能是关于大数据处理的一个应用或者解决方案，通过使用Java和Spark框架进行开发，并在某个Spark Day活动中进行展示和交流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值