- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据生态与Spark简介
一、大数据生态系统简介：网络化数据社会与现实社会的有机融合、互动以及协调，形成大数据感知、管理、分析与应用服务的新一代信息技术架构和良性增益的闭环生态系统。在大数据处理中，并不是仅靠一个框架就能完成复杂的数据处理工作，而是根据需求需要多个框架共同完成，大致数据流的走向：可以看到在大数据处理中，主要有实时流处理和离线批处理两种方式，数据源是应用服务器，然后由Flume进行收集，收集后可以直接和Kafka对接，进入缓冲队列，然后由实时流处理框架进行消费，比如Spark Streaming，实时流处理框架把
2021-03-02 16:26:52
375
原创 面向对象－第五次
1.面向对象：一种编程思想，是针对于大型程序，复杂逻辑开发时使用的编程思想2.面向过程：根据业务逻辑从上到下写垒代码1、python面向对象的重要术语：三大特征1.多态（polymorphism）：一个函数有多种表现形式，调用一个方法有多种形式，但是表现出的方法是不一样的。2.继承（inheritance）子项继承父项的某些功能，在程序中表现某种联系3.封装（encapsulation）把需要重用的函数或者功能封装，方便其他程序直接调用类(Class): 用来描述具有相同的属性和方法的对象
2020-12-01 13:54:41
109
原创 第四次
hashlib 加密模块：用于加密相关的操作，代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法常用方法import hashlibmd5 = hashlib.md5() # 获取md5对象 ()!!!md5.update(password.encode(‘utf-8’)) # 加密 切记要指定编码 encode(‘utf-8’)print(md5.hexdigest()) # 用hexdigest()获取计算的md5
2020-11-25 01:09:41
197
原创 模块
模块补充random 随机数模块引入模块：import random产生0~1之间的随机浮点数print(random.random())产生 1 到 10 的一个整数型随机数print(random.randint(1, 10))生成从1到100的间隔为2的随机整数print(random.randrange(1, 100))从序列中随机选取一个元素print(random.choices(["1","2","3","4","a","b"]))random模块运用1.纯
2020-11-17 22:11:21
146
原创 python—高阶函数
什么是高阶函数?满足以下条件之一的函数就是高阶函数1.函数可以作为参数被传递2.函数可以做为返回值输出一个简单高阶函数import mathdef add(x, y, f): return f(x) + f(y)add(4,9,math.sqrt） # 5.0Python自带高阶函数常用的有五个常用高阶函数mapreducefiltersortedreversed1.map函数定义：map()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到
2020-11-10 22:02:47
112
原创 分治策略——函数与模块
一，函数基础定义：函数就是一个被封装好的具有特定功能的代码段。特点：可以重复使用（复用性）。自定义函数1.普通函数2.匿名函数def 函数名([参数]): #定义函数 '''注释''' 函数体函数名([实参]) #执行函数例如：def printlnfo(): print('天生我才，必有用’） print('人生苦短，我用Python‘）printlnfo() #执行函数参数作为函数的输人，参数又分为形参，实参形参:本质上一个局部变量；由于接收函数，怪不得数据，他是定义
2020-10-31 18:10:59
280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人