大数据(7b)比较Python和Scala语法

目前大四,大数据方向研究生,这一年想为日后学习大数据打好基础,请问该自学什么? 大数据方向,这个方向... 其实也算不上个方向... 哎... 先说吧 ... 如果你毕业了, 去个什么公司,应聘个“大数据开发工程师”什么的,我们来看看职位要求是什么: 岗位职责: 1、负责数据分析、监控、安全、风控等平台设计与开发 2、责基于spark平台的用户行为分析、实时业务数据的开发 3、采用统计分析、数据建模、数据挖掘等方法,提供有价值的数据、模型、算法支持 岗位... 阅读详情

Hello world

def main():
    print('Hello Python')

main()
object Hello {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}

赋值

variate = '变量'
CONSTANT = '常量'
var variate : String = "变量"
val CONSTANT : String = "常量"

数据类型

常用数据类型说明
Any其它类的超类
AnyRef所有引用类(reference class)的基类
String字符序列
Char16位无符号Unicode字符,区间值为U+0000到U+FFFF
Double双精度浮点数
Float单精度浮点数
Long64位有符号补码整数
Int32位有符号补码整数:-2147483648到2147483647
Short16位有符号补码整数:-32768到32767
Byte8位有符号补码整数:-128到127
Booleantrue或false
Unit表示无值,用在不返回结果的方法,等同Java的void。打印显示()
Null只有一个实例null
NothingScala的类层级的最底端,是其它类的子类

类型判断和强转

# 类型判断
isinstance('abc', str)
isinstance({'b': 2}, dict)
# 类型强转
float(2)
// 类型判断
"abc".isInstanceOf[String]
Map("b"->2).isInstanceOf[Map[String,Int]]
// 类型强转
2.asInstanceOf[Float]

字符串

AGE = 18
sql = """
SELECT * FROM tb WHERE age > {age}
""".format(age=AGE)
val AGE = 18
val sql: String =
s"""
   |SELECT * FROM tb WHERE age > ${AGE}
   |""".stripMargin

正则表达式

https://blog.youkuaiyun.com/Yellow_python/article/details/114695017

import re

t = 'bird+man=bird_man 01-01 12-31'

p1 = re.compile('([0-9]+)-([0-9]+)')
p2 = re.compile('[a-z]+_[a-z]+')
p3 = re.compile(r'\W+')

print(p1.findall(t))
print(p2.sub('***', t))
print(p3.split(t))

打印结果

[('01', '01'), ('12', '31')]
bird+man=*** 01-01 12-31
['bird', 'man', 'bird_man', '01', '01', '12', '31']

import scala.util.matching.Regex

val t : String = "bird+man=bird_man 01-01 12-31"

val p1: Regex = "([0-9]+)-([0-9]+)".r
val p2: Regex = "[a-z]+_[a-z]+".r
val p3: Regex = new Regex("\\W")

println(p1.findAllIn(t).toList)
println(p2.replaceAllIn(t, "***"))
println(p3.split(t).toList)

打印结果

List(01-01, 12-31)
bird+man=*** 01-01 12-31
List(bird, man, bird_man, 01, 01, 12, 31)

方法和函数

https://yellow520.blog.youkuaiyun.com/article/details/117031129

流程控制

https://blog.youkuaiyun.com/Yellow_python/article/details/117001055

异常:try

https://yellow520.blog.youkuaiyun.com/article/details/114661078

try:
    a = 10 / 0
except ZeroDivisionError as e:
    print(e)
try {
  var a = 10 / 0
} catch {
  case e: ArithmeticException => {
    println(e)
  }
}

面向对象

https://yellow520.blog.youkuaiyun.com/article/details/112858819

附录

en🔉cn
define/dɪˈfaɪn/vt. 定义
lambda/ˈlæmdə/希腊字母的第11个: λ \lambda λ
variate/ˈverɪeɪt/变量
constant/ˈkɑːnstənt/常量
division/dɪˈvɪʒn/除法
arithmetic/əˈrɪθmətɪk/算术,算法
abstract/ˈæbstrækt/adj. 抽象的;n. 摘要
implement/ˈɪmpləˌment/vt. 实施;实现;n. 工具
implemented/ˈɪmplɪmentɪd/应用的
meta/ˈmetə/pref. 表示“变化”“变换”之义
metaclass元类
metadata元数据
ride/raɪd/v. 骑(自行车、马等)
override/ˌoʊvərˈraɪd/vt. 推翻
singleton/ˈsɪŋɡltən/单生子女;单身的人
instance/ˈɪnstəns/实例
mutable/ˈmjuːtəbl/可变的
immutable/ɪˈmjuːtəbl/不可变的
extend/ɪkˈstend/v 延伸
trait/treɪt/特性;品质
property/ˈprɑːpərti/性质;财产;所有权
Python vs Scala:大数据预处理工具链深度评测 在大数据处理流程中,预处理环节(数据清洗、格式转换、异常值处理等)占据超过60%的开发时间。Python和Scala作为两大主流技术栈,分别构建了成熟的工具生态,但在不同应用场景下表现迥异。两种语言在数据预处理工具链上的核心差异是什么?分布式计算框架(如Spark)的多语言支持如何影响工程实践?数据规模、团队技术栈、系统性能需求如何驱动技术选型?本文通过「语言特性→工具链架构→算法实现→实战对比→应用场景」的逻辑链条,逐层剖析两种技术栈的核心差异。 阅读详情

相关推荐

分析方法—temporal receptive field(TRF)

总结来说,时间感受野其实就是一个 filter!课程中的描述—.(使用时间感受野与刺激进行卷积来描述)时间感受野一般是听觉计算中使用的,在视觉中,有另一种分析叫做空间感受野(spatial receptive fields)。回归权重(Regression weights)是指在回归分析中用于估计自变量与因变量之间关系的权重或系数。回归分析是一种统计方法,用于建立自变量与因变量之间的关联模型,并通过拟合数据来估计模型中的参数。在简单线性回归中,只有一个自变量与一个因变量之间的关系被建模。

m0_51474171的博客 1605

Python vs Scala

比较基础 Python Scala 定义 Python是一种动态类型的面向对象编程语言,因此我们不需要指定对象 Scala是静态类型的面向对象编程语言,因此我们需要在Scala中指定变量和对象的类型 性能 Python是一种动态类型语言,可以在运行时为解释器创建额外的工作。它必须在运行时决定数据类型。 Scala是一种静态类型语言使用JVM,因...

oPerform的专栏 1269

小米手机免登录开启USB安装与调试(MIUI 9-11实测,已Root可用)

本文详细介绍了小米手机免登录开启USB安装与调试的底层方案,适用于已Root的MIUI 9-11版本设备。通过修改系统配置、禁用MIUI安装器验证和强制开启USB调试等步骤,帮助开发者绕过账号限制,实现快速调试。文章包含不同MIUI版本的兼容性处理和常见问题解决方法,实测有效。

weixin_33675507的博客 291

Spark环境下Scala和Python两种语言的对比

相比于Java,Spark中用Scala开发语法简洁许多,且支持类型推断,可大大提升开发效率。Spark的框架使用Scala编写(注Scala是一种运行在Java虚拟机上,实现和Java类库互联互通的面向对象及函数式编程语言),而Spark的开发目前主要使用三种语言Scala、Python、Java。ApacheSpark作为类HadoopMapReduce的通用并行框架,一款专为大规模数据处理而设计的分布式计算引擎,以其优越的性能,较为完善的生态,受到了大数据从业人员的青睐。......

u013250861的博客 769

算法交易VWAP&TWAP

VWAP的一些算法模型细节参考博客地址http://blog.sina.com.cn/s/blog_ad47bc5b01014elx.html 日内交易量预测模型http://blog.sina.com.cn/s/blog_976461170102v43p.html 算法交易其实主要是用在基金公司、券商量化比较多。例如我已经选好股,要大量买入,但是单凭交易员的操作海量单而且要完

shulixu的博客 1万+

张量积曲面:数学原理与Python实现

Suv∑i0m∑j0nPij⋅Bipu⋅BjqvSuvi0∑m​j0∑n​Pij​⋅Bip​u⋅Bjq​v其中PijP_{i,j}Pij​是控制点网格,BipuB_i^p(u)Bip​u和BjqvB_j^q(v)Bjq​v是基函数,分别沿uuu和vvv方向定义。

T20151470的博客 1159

Spark - 介绍及使用 Scala、Java、Python 三种语言演示

分布式机器学习的框架,可以使用许多常见的机器学习和统计算法,例如:支持向量机、 回归、 线性回归、 逻辑回归、 决策树、 朴素贝叶斯、汇总统计、相关性、分层抽样、 假设检定、随即数据生成等,简化大规模机器学习。的快速调度能力来运行流分析,通过时间窗口截取小批量的数据并可以对之运行。类似,Spark 也有本地模式,和线上集群模式,不过不同的是,是一个快速的,多用途的集群计算系统, 相对于。当然现在有了更为发展趋势,更好处理流式数据的。的基础,,提供了分布式任务调度和基本的。的数据抽象化的概念,提供了在。

小毕超博客 3601

嵌入式电机控制实战:手把手教你实现I/F强拖启动(附仿真代码)

本文详细介绍了嵌入式电机控制中的I/F强拖启动技术,通过参数配置、代码实现和仿真验证的完整流程,帮助开发者掌握永磁同步电机(PMSM)的高效启动方法。文章包含硬件平台搭建、参数整定黄金法则及MATLAB/Simulink仿真验证,适合工业自动化和智能设备领域的工程师参考。

rust6ferris的博客 912

为什么学习大数据框架Spark要用Python而不是用Scala

Apache Spark,它是用于大数据分析、处理和计算的通用引擎。与MapReduce相比,它具有几个优点:它更快、更易于使用、简单,并且几乎可以在任何地方运行。它具有用于 SQL、机器学习和流式传输的内置工具,这使其成为 IT 行业中非常流行和最受欢迎的工具之一。 那么学习大数据框架Spark,最好学哪种语言呢?关于python和scala,两者一直争论不休。 虽然说Spark是用scala进行开发的,但是如果你不做spark源码贡献,二次开发,基本上就不需要学scala,或者你不需要看spark源码,

m0_59235245的博客 3179

Wafer的T7 Code是什么,怎么来的

在半导体Cim系统中,waferstart 业务需要支持 Sorter 读取 Wafer 的 T7 Code,与 MES 的 Wafer ID 进行绑定,以便向 前追溯 Wafer 历史,那么问题来了,T7code 是什么Wafer的T7 Code是一种,用于标识双面抛光的晶圆。这种标记采用二维矩阵代码符号,适用于各种尺寸的晶圆,不仅限于450mm无缺口晶圆7。T7 Code是衬底来料背面通常会有的供应商刻的追溯ID,这是一串数字和字母组成的流水码。

阿拉伯梳子的专栏 7941

Android15车载系统开机冷启动流程源码解析

本文主要介绍Android15车机系统开机冷启动的流程,暂不包含bootloader,仅从kernel开始直至Launcher首页展示。

jidapenglin28的专栏 257

Python与Scala的快速语法对照

转载:给Python程序员的Scala入门教程 https://www.jianshu.com/p/59dbb62ab358

weixin_42077402的博客 849

STM32实战开发(76):STM32开发无线传感器网络(WSN)完整实现

本文介绍了如何基于STM32开发无线传感器网络,包括硬件选择、通信协议、系统设计和编程实现。通过STM32的强大性能和低功耗特性,我们能够构建高效、可靠的无线传感器网络。无论是Zigbee、LoRa、Wi-Fi还是BLE协议,STM32都能够与多种通信模块进行兼容,满足不同应用的需求。希望这篇文章能帮助您了解无线传感器网络的构建流程,并为您的项目提供有价值的参考。

2201_76125393的博客 1061

大数据(7d)比较Python和Scala的方法和函数

文章目录PythonScala Python 原名 method function 译名 方法 函数 调用方式 对象名.方法名() 函数名() f2 = lambda: None def f1(): pass class C: def __init__(self): pass def m1(self): pass @staticmethod def m2(): pass @classme

ArYe 559

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

scala与python前景比较_[@小川游鱼][¥20]感觉java相对于scala比较臃肿,未来我更看好python和scala的发展;在大数据开发中,各公司还是倾向于使用python和scala...

关于[@小川游鱼][¥20]感觉java相对于scala比较臃肿,未来我更看好python和scala的发展;在大数据开发中,各公司还是倾向于使用python和scala,java在数据开发中有什么优势呢?对java未来的发展前景专家是怎么看的?或者说java未来会开发出哪些新特性让人感到惊喜呢?的搜索结果回答请参考这篇文章,https://help.aliyun.com/document_det...

weixin_39917485的博客 208

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

大数据(7h)比较Python和Scala的数据容器

以Python为参照,理解和速查Scala语法iterable collectionSet(set)Map(dict)两个Map合并List(list)元组Range(range)Array队列collection常用函数基础过滤(filter)映射(map)扁平化(flatten)映射后扁平化(flatMap)分组(group)归约(reduce)折叠(fold)词频统计示例并行collection iterable collection collection继承Iterable特质 collectio

ArYe 497

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

大数据开发语言scala:源于Java,隐式转换秒杀Java

在多年的学习路上,也掌握了几门比较常见的语言,例如Java、Python以及前端Vue生态中包含的语言。很多时候,各种语言相似功能的框架都会被放在一起比较,来评判语言本身的优劣。在我的实际学习应用中,发现每种语言都有自己适合的领域。例如Java拥有庞大丰富的后台生态,所以常用来构建后端服务。Python轻量且简单易上手,常应用于数据分析、爬虫、机器学习等场景。除此之外,还有一些小众语言也在各自的领域熠熠生辉。在还没有接触大数据开发之前,是从来没有听说过scala这门语言。

CatchLight的博客 1278

大数据(7i)比较Python和Scala的collection常用方法

帅气的目录常用方法过滤(filter)映射(map)扁平化(flatten)映射后扁平化(flatMap)分组(group)归约(reduce)折叠(fold)词频统计示例词频统计示例(带权重) 常用方法 val a = Range(1,9).toList // 长度 a.length // 是否包含:false a.contains(9) // 生成字符串 a.mkString("-") // 迭代器 a.iterator // 反转 a.reverse // 拉链:List((1,1), (2,2),

ArYe 457

R、Python、Scala 和 Java,到底该使用哪一种大数据编程语言?

有一个大数据项目,你知道问题领域(problem domain),也知道使用什么基础设施,甚至可能已决定使用哪种框架来处理所有这些数据,但是有一个决定迟迟未能做出:我该选择哪种语言?(或者可能更有针对性的问题是,我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久,迟早要定夺。 当然,没有什么阻止得了你使用其他机制(比如XSLT转换)来处理大数据工作。但通常来说,如今大...

iteye_4271的博客 1235

大数据学习,Scala快速学习的方法

大数据学习过程中,都会学习Scala,众所周知,Spark支持4门语言,分别为R、Python、Java与Scala,但真正的底层实现语言则是Scala。在我以往的实践分享中,除了Python,我还会利用Scala去实践一遍,而且在面对大规模的数据建模中,我都会推荐去使用Hadoop、Spark去工程开发,充分利用集群的计算资源。很多在科多大数据培训的在读学员,经常对于学习方法比较提出一文,本文让...

科多大数据的博客 1091

[Scala + Python] Flink实时分析B站公开数据

读我 项目介绍 啰嗦 本项目基于Bilibili的分开信息,实现需求的主要模块为Flink + eCharts,点击直达官网。 项目代码主要是Scala + Python实现,建议学习大数据的最好掌握Java或Scala,资料丰富些。 GitHub地址 项目架构 一图胜千言 静态图表 来看看效果,先上个静态的,这个简单需求完全可以不用框架实现,但我还是用了Flink,也好让初学这个框架的盆友适应...

CodeZenPlayground 1153

Java,Python,Scala比较(三)wordcount

众所周知,wordcount在大数据中的地位相当于helloworld在各种编程语言中的地位。本文并不分析wordcount的计算方法,而是直接给出代码,目的是为了比较Spark中Java,Python,Scala的区别。

山阴少年 852

Scala安装idea配置与基本语法

------------- scala简介 ---------------- 官网:https://www.scala-lang.org/ Scala语言很强大,集成了面向对象和函数式编程的特点。 运行在JVM(jdk)。 大数据中为什么学习scala? spark是scala语言编写。 python写spark 挺好的 java写spark 很糟糕(代码实在是太多了) scala写spark 很...

开水烫鱼的博客 472

大数据(7k)比较Scala、Java、SQL、Python的case模式匹配

匹配常量 匹配类型 匹配数组 匹配元组 for匹配元组 map匹配元组 关键词:match和case 类似Java的switch

ArYe 556
上一篇: 大数据(4a)Flume原理、安装、使用
下一篇: 大数据(7f)比较Python和Scala面向对象
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值