spark
fans、狂热
记录自己的学习及复习笔记,主要以大数据开发为主的技术栈。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
sparksql优化-left join优化为inner join
历史用a left join b,取b相关数据,随着b表数据量不断增加,某天跑批报错。只有2个表关联,查询不复杂。背景:生产环境中表a小表,b大表。b分区表,且用b表全量数据,b表单分区查询900g/天。1、直接加资源,刚开始一段时间有效果,后期数据增加报错。2、后期除了加资源。原创 2024-11-18 21:23:27 · 383 阅读 · 1 评论 -
Scala流程控制
一、单分支基本语法if (条件表达式) {执行代码块}说明:当条件表达式为 ture 时,就会执行{ }的代码。二、双分支if (条件表达式) {执行代码块 1} else {执行代码块 2}三、多分支if (条件表达式 1) {执行代码块 1}else if (条件表达式 2) {执行代码块 2}……else {执行代码块 n}四、代码示例 if (age <= 6) { println("童年") } else if (age &原创 2021-11-07 10:55:39 · 229 阅读 · 0 评论 -
Scala运算符
Scala 运算符的使用和 Java 运算符的使用基本相同,只有个别细节上不同。一、算术运算符1 基本语法原创 2021-11-06 21:29:19 · 291 阅读 · 0 评论 -
Scala数据类型
一、数据类型(1)Scala中一切数据都是对象,都是Any的子类。(2)Scala中数据类型分为两大类:数值类型(AnyVal)、 引用类型(AnyRef),不管是值类型还是引用类型都是对象。(3)Scala数据类型仍然遵守,低精度的值类型向高精度值类型,自动转换(隐式转换)。(4)Scala中的StringOps是对Java中的String增强(5)Unit:对应Java中的void,用于方法返回值的位置,表 示方法没有返回值。Unit是一个数据类型,只有一个对象 就是()。Void不是原创 2021-10-31 12:41:06 · 1845 阅读 · 0 评论 -
Scala文件读取、写入
一、代码示例import java.io.{File, PrintWriter}import scala.io.Sourceobject FileIO { def main(args: Array[String]): Unit = { //从文件中读取数据 Source.fromFile("src/main/resources/test.txt").foreach(print) //将数据写入文件 val writer = new PrintWriter(ne原创 2021-10-31 11:22:24 · 787 阅读 · 0 评论 -
Scala键盘输入
1.语法要接收用户输入的数据,就可以使用键盘输入语句来获取StdIn.readLine()、 StdIn.readShort()、 StdIn.readDouble()、StdIn.readInt2.示例object Test4_StdIn { def main(args: Array[String]): Unit = { //输入信息 println("请输入信息:") val name:String = StdIn.readLine() println(原创 2021-10-29 07:48:09 · 3172 阅读 · 0 评论 -
Scala字符串输出
( 1)字符串,通过+号连接val name: String = "lili"val age:Int = 22println(age + "岁的" + name) //22岁的Lili(1.1) * 用于将字符串复制多次拼接println(name * 3) //LiliLiliLili(2) printf 用法:字符串,通过%传值printf("%d岁的%s",age,name) //22岁的Liliprintf 格式化打印>( 3.原创 2021-10-28 21:40:48 · 661 阅读 · 0 评论 -
Scala标识符命名规范
一、什么是标识符Scala对各种变量、方法、函数等命名时使用的字符序列称为标识符。即:凡是自己可以起名字的地方都叫标识符。二、标识符命名规范(1)以字母或者下划线开头,后接字母、数字、下划线 val hello:String = "" var Hello123 = "" val _abc = 123 //val h-b = "" //错误,找不到- //val 123abc = 123 //不能以数字开头(2)以操作符开头,且只包含操作符( +原创 2021-10-28 20:41:45 · 910 阅读 · 0 评论 -
Scala变量和常量
1.Java变量和常量java变量变量类型 变量名称 = 初始值例: int a = 1java常量final 常量类型 常量名称 = 初始值例:final int b = 2java是把常量看成一种特殊的变量(在变量前加了final修饰符)2.Scala变量和常量变量基本语法var 变量名 [:变量类型] = 初始值例:var i:Int = 1常量基本语法(能用常量的地方不用变量)val 常量名 [:常量类型] = 初始值例:val 常量名 [:常量类型原创 2021-10-27 22:26:01 · 138 阅读 · 0 评论 -
IDEA新建Scala项目
1.新建maven项目2.添加scala插件3.新建scala文件夹4.将scala文件夹作为test source root5.添加Scala框架支持原创 2021-10-24 18:27:18 · 271 阅读 · 0 评论 -
Scala学习笔记—安装
1.下载Windows版本的scala下载链接,选择所需版本2.解压及配置环境变量3.cmd端测试scala安装是否成功C:\Users\Administrator>scalaWelcome to Scala 2.12.11 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_212).Type in expressions for evaluation. Or try :help.scala>...原创 2021-10-24 17:57:44 · 208 阅读 · 0 评论
分享