- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-02-28
.Spark生态系统 （一）应用场景 1.复杂的批量数据处理 （小时级） 2.基于历史数据的交互式查询 （分钟级、秒级） 3.基于实时数据流的数据处理 （毫级、秒级 ） 4.基于历史数据的数据挖掘 5.图结构数据的处理 （二）生态系统中的组件 Spark Core : 主要面向批数据处理。比如内存计算、任务调度、部署模式、故障恢复等 Spark SQL : 用于结构化数据处理的组件。 Spark Streaming : 是一种流计算框架，可以支持高吞吐量、可容错处理的实错的流处理引擎。 Structured
2021-02-28 14:22:23
106
原创 python第五篇笔记
pythonif语句 if判断语句 if 判断语句的基本语法 if 要判断的条件: 条件成立时,要做的事情> 注意:代码的缩进为一个 tab 键,或者四个空格(pycharm 自动帮我们增加) 在 python 开发中,Tab 和空格不要混用 if的语法格式： if_stmt ::= "if" expression ":" suite ( "elif" expression ":" suite )* ["else" ":" suite] It
2020-12-06 21:43:49
65
原创 python第四篇笔记
python list函数 创建一个list列表: liebiao = list([“参数1”,“参数2”]) liebiao = [“参数1”,“参数2”] 快速创建一个1~9的列表: liebiao = [i for i in range(1,10)] python列表常用函数： len(list):列表元素个数 max(list):返回列表中元素的最大值 min(list):返回列表元素的最小值 list(seq):将元组转换成列表 列表操作方法: list.app
2020-12-06 21:35:16
52
原创 python第三篇笔记
Python字符串匹配 1. re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。 import re line="this hdr-biz 123 model server 456" pattern=r"123" matchObj = re.match( pattern, line) 2. re.search 扫描整个字符串并返回第一个成功的匹配。 import re line="this hdr-biz model server
2020-12-06 21:32:00
141
原创 python第二篇笔记
Python函数中定义函数 在函数内部定义的函数要在函数内部调用 def paint(): print("paint") def paintA(): print("paintA") paintA() paint() //输出如下： //paint //paintA 在函数外部调用函数的结果如下 paintA //试图在函数外部调用paintA() //以下是报错信息 -----------------------------------------------
2020-12-06 21:18:59
60
原创 python第一篇笔记
函数 一：基本概念函数是什么：一个被封装好的具有特定功能的代码段，可以被重复使用。函数名：给封装好的代码段（函数），起个名字。形参：本质上就是一个局部变量，由于接收函数外部的数据，它是定义函数时候定义的。实参：在函数调用执行时，传递的数据。返回值。返回值：将函数中的局部变量传递到函数外部。关键字：return.定义一个函数：①普通函数。②匿名函数（没有函数名的函数）。全局变量：在整个函数中部都可以被调用的变量，一般都是直接定义在函数外部的，或者用 global定义的。（关键字都是在函数内部定义的）局部变量：
2020-11-03 21:44:13
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人