python_newbie1的博客

大数据生态 大数据的属性 大数据的影响 在思维方式方面，大数据完全颠覆了传统的思维方式： 全样而非抽样 效率而非精确 相关而非因果 大数据关键技术：分布式存储，分布式处理 代表性大数据技术：Hadoop，spark，flink，beam spark spark的主要特点： 运行速度快：使用DAG执行引擎以支持循环数据流与内存计算 容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程 通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流

python 函数 函数基础 1.函数：一个被封装起来的具有特定功能的代码段，可被重复执行 2.自定义函数：自定义函数通过def关键字定义。def关键字后就是函数的标识符也就是函数名，函数提供的输入接口就是函数名后的圆括号，圆括号中是变量名，一个函数的参数数量由函数功能决定。 def 函数名([形参]): # 定义函数 '''注释''' 函数体 函数名([实参]) # 执行函数 3.形参和实参 形参：是函数内的局部变量，用于接外部数据。 实参：外部数据，用于给形参赋

字符串 字符串或串(String)是由数字、字母、下划线组成的一串字符。它是编程语言中表示文本的数据类型。 使用单引号 ’ 双引号" 或三引号 来创建字符串。 字符串中的字符都是有序的数组、拥有自己索引（index,也叫下标)从0开始，索引也可以为负值,负数索引表示从右往左开始计数，最后一个元素索引为-1,倒数第二为-2,以此类推. 注： python程序中的字符串在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。 转义字符 在需要在字符中使用特殊字

模块 1.python模块是一个python文件，以.py结尾，模块中可以包含定义好的函数，变量，类，数据等内容 2.模块使用 import m1 m1.hello() print(m1.a+m1.b) 3.在模块被调用执行后会自动被python解释器编译成二进制文件，用于对模块加速执行 4._pycache_目录下创建模块名。cpython—版本.pyc 导入模块 from 模块名 import 函数名(也可以是变量名或类名) from 模块名 import 函数名 as 别名 from 模块名 imp

文件 1.文本文件：xx.txt，xx.log，xx.ini，本质是字符串，存在磁盘上的字符串（持久化） 2.二进制文件：xx.mp3，xx.jpg，xx.avi 3.参数： file:文件 绝对路径和相对路径 mode：r （只读） w（只写） a（追加模式）b（二进制模式） enconding：字符集GBK（windows）UTF-8（linux） 4.open函数执行后返回文件对象 f = open("big_data_19-4.txt","a") #“w"只写模式，当文件不存在时，会创建文件，当文