qq_52118533的博客

一.Spark生态系统（一）应用场景1.复杂的批量数据处理 （小时级）2.基于历史数据的交互式查询 （分钟级、秒级）3.基于实时数据流的数据处理 （毫级、秒级 ）4.基于历史数据的数据挖掘5.图结构数据的处理（二）生态系统中的组件Spark Core : 主要面向批数据处理。比如内存计算、任务调度、部署模式、故障恢复等Spark SQL : 用于结构化数据处理的组件。Spark Streaming : 是一种流计算框架，可以支持高吞吐量、可容错处理的实错的流处理引擎。

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。import reline=“this hdr-biz 123 model server 456”pattern=r"123"matchObj = re.match( pattern, line)re.search 扫描整个字符串并返回第一个成功的匹配。import reline=“this hdr-biz model server”pattern=r"hdr-biz".

装饰器符号“@”属于语法糖，什么意思呢？就是说，我不按照@装饰器的语法要求来写，而是按照一般python的语法要求来写完全可以。那么用@装饰器的格式来写的目的就是为了书写简单方便装饰器的作用是什么呢？ 简单的理解就是：装饰原有的函数。什么意思呢？比如有一个函数func(a, b)，它的功能是求a,b的差值，我现在有一个需求，就是想对函数功能再装饰下，求完差值后再取绝对值，但是不能在func函数内部实现，这时候就需要装饰器函数了，比如func = decorate(func)函数，将func函数作为参数传递

Python 模块Python 模块(Module)，是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。模块让你能够有逻辑地组织你的 Python 代码段。把相关的代码分配到一个模块里能让你的代码更好用，更易懂。模块能定义函数，类和变量，模块里也能包含可执行的代码。例子support.py 模块：def print_func( par ):print "Hello : ", parreturnimport 语句模块的引入模块定义好后，我们

一、字典概念：字典是类似于列表的一种数据结构，不同的是，字典是键值对的无序集合。字典中的每个元素由两部分组成：键（key）和值（value）。创建字典定义字典的方式是通过花括号{ }将所有元素括起来，其中的元素用冒号分隔键和值。创建一个hero对象:hero = {’ id ’ : 1 , ’ name ’ : ’ milo ’ , ’ hp ’ : 100}hero{’ id ’ : 1 , ’ name ’ : ’ milo ’ , ’ hp ’ : 100}type（hero）&l

import syssys:对Python解释器做一些设置，或获取一些解释器信息。sys.path：path属性，模块路径，list类型可以修改print（sys.path）sys.path.append（“D：\mysql\pymysql”）print（sys.path）dir（）用于查看模块中的所有属性和方法print（dir（sys））显示版本号print（sys.veision）获取脚本参数，第一个参数是脚本名本身print（sys.argv）终止程序运行print（“aa

模块模块是一个包含所有定义的函数和变量的文件，其后缀名是 .py 。模块可以被别的程序引入，以调用该模块中的函数等功能。这也是使用 python 标准库的方法。import 语句想要引用模块，只需要执行import语句就可以了。我们来看个示例。Filename: printHello.pydef hello( name ):print ("Hello : ", name)新建一个 printHello.py 的文件，写入一个 hello 的函数。这个文件就是一个模块。Filename: te

什么是装饰器装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。本质上，decorator就是一个返回函数的高阶函数。例子定义一个打印日志的装饰器def log(func):def wrapper(*args, **wk):prin

python特点1、简单灵活2、 开源免费3、 跨平台4、 高级动态5、 支持命令式编程6、函数式编程7、 面向对象编程基本数据类型标准数据类型：数字（Number）、字符串（String）、列表（List）、元组（Tuple）、集合（Set）和字典（Dictionary）；（1）：不可变数据：Number（数字）、String（字符串）、Tuple（元组）；（2）：可变数据：List（列表）、Dictionary（字典）、Set（集合）。函数的定义1、函数代码块以 def 关键词开头，后接函数标识符