- 博客(6)
- 收藏
- 关注
原创 2021-02-28
一、大数据生态 指网络化数据社会与现实社会的有机融合、互动以及协调,形成大数据感知、管理、分析与应用服务的新一代信息技术架构和良性增益的闭环生态系统。 1、大数据概念 大量化、快速化、多样化、价值化等属性。 数据量大:数据类型繁多、处理速度快、价值密度低。 2、大数据的代表性技术 Hadoop、Spark、Flink、Beam。 3、YARN YARN的目标就是实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架 由YARN为这些计算框架提供
2021-02-28 15:28:41
211
原创 笔记5
Python中时间的三种表达形式 (1).时间戳(小数): 1970-01-01 00:00:00 (格林威治天文台时间)秒数。(方便计算机存储和运算) 代码:print(time.time()) (2).时间元组(命名元组): 用于参数的传递。可以将时间戳加粗样式作为参数。 代码:print(time.localtime()) (3).格式化的时间字符串 代码:print(time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(984767443))) 这三者之.
2020-11-29 09:29:01
161
原创 笔记4
1、内置模块:由Python开发者提供在安装包中自带的模块。 sys:用于调用Python解释器import sys 、对Python解释器做一些设置、获取一些解释器信息。 sys.path:path属性,模块路径,list类型可以修改。 dir()用于查看模块中的所有属性和方法。 print(sys.version)显示当前版本号 print(sys.argv)获取脚本参数,第一个参数是脚本名本身。 list [脚本名,参数1,参数2] sys.exit()结束程序的运行。 2、os模块:用于执行系统命令
2020-11-20 16:06:19
115
1
原创 笔记3
1、Python的基本数据类型 标准数据类型:列表(List)、元组(Tuple)、集合(Set)、数字(Number)、字符串(String)、字典(Dictionary)。 2、比较运算符 等于(= =):(a = = b)比较对象是否相等 不等于(!=): (a != b) 比较两个对象是否不相等 大于(>): (a > b) 小于(<):所有比较运算符返回1表示真,返回0表示假。与变量True和False等价。 大于等于 (>=): (a >= b) 小于等于(<
2020-11-20 14:56:44
143
1
原创 2020-11-10
文件操作: 读操作:将磁盘文件中的字符串加载进内存。写操作:将内存中的的字符串存储到磁盘中。open(file,mode=“r”,encoding=“utf-8”) 执行open函数后返回文件对象。mode="r"时,可以使用 read方法。mode="w"时,可以使用 write方法。 file 参数:指文件名。 当要读写的文件和python程序在同一目录时,写文件名即可。 w 模式:只写模式,当文件不存在时,他会创建文件并写入数据。文件存在时,会覆盖文件。 r 只读模式:默认模式,只能读取文件,文件不存
2020-11-10 21:21:00
147
原创 2020-11-03
函数基础: 函数是一段具有特定功能、被封装、可重复使用的语句块,通常用来实现某一特定功能。给这段程序起名,就可以在任意地方通过起的名字任意次运行这个语句块,这便是函数的俩个重要概念:定义和调用。 函数工作常态:接收数据→处理→返回处理结果。 函数可以简化脚本。函数可以在需要时被任意多次调用。 自定义函数: 自定义函数通过def关键字定义 格式:def函数名(参数): 语句块(函数体) 形参与实参:定义函数时的参数是形参,调用函数时的参数是实参。 返回值:返回的结果就是函数的返回值,可以赋值给一个变量,或作为
2020-11-03 19:44:47
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人