python_newbie1的博客

大数据生态大数据的属性大数据的影响在思维方式方面，大数据完全颠覆了传统的思维方式：全样而非抽样效率而非精确相关而非因果大数据关键技术：分布式存储，分布式处理代表性大数据技术：Hadoop，spark，flink，beamsparkspark的主要特点：运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流

python 函数函数基础1.函数：一个被封装起来的具有特定功能的代码段，可被重复执行2.自定义函数：自定义函数通过def关键字定义。def关键字后就是函数的标识符也就是函数名，函数提供的输入接口就是函数名后的圆括号，圆括号中是变量名，一个函数的参数数量由函数功能决定。def 函数名([形参]): # 定义函数 '''注释''' 函数体函数名([实参]) # 执行函数3.形参和实参形参：是函数内的局部变量，用于接外部数据。实参：外部数据，用于给形参赋

字符串字符串或串(String)是由数字、字母、下划线组成的一串字符。它是编程语言中表示文本的数据类型。使用单引号 ’ 双引号" 或三引号 来创建字符串。字符串中的字符都是有序的数组、拥有自己索引（index,也叫下标)从0开始，索引也可以为负值,负数索引表示从右往左开始计数，最后一个元素索引为-1,倒数第二为-2,以此类推.注： python程序中的字符串在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。转义字符在需要在字符中使用特殊字

模块1.python模块是一个python文件，以.py结尾，模块中可以包含定义好的函数，变量，类，数据等内容2.模块使用import m1m1.hello()print(m1.a+m1.b)3.在模块被调用执行后会自动被python解释器编译成二进制文件，用于对模块加速执行4._pycache_目录下创建模块名。cpython—版本.pyc导入模块from 模块名 import 函数名(也可以是变量名或类名)from 模块名 import 函数名 as 别名from 模块名 imp

文件1.文本文件：xx.txt，xx.log，xx.ini，本质是字符串，存在磁盘上的字符串（持久化）2.二进制文件：xx.mp3，xx.jpg，xx.avi3.参数：file:文件 绝对路径和相对路径mode：r （只读） w（只写） a（追加模式）b（二进制模式）enconding：字符集GBK（windows）UTF-8（linux）4.open函数执行后返回文件对象f = open("big_data_19-4.txt","a")#“w"只写模式，当文件不存在时，会创建文件，当文