- 博客(10)
- 收藏
- 关注
RSS订阅原创 Vue.js笔记
1、下一个编辑器，vscode VS Code：https://code.visualstudio.com/ Hbuilder X：http://www.dcloud.io/hbuilderx.html 2、Vue.js安装 引用：https://cn.vuejs.org/v2/guide/installation.html 3、创建 代码框打‘！’ 出来一个模板结构 <!DOCTYPE html> <html lang="en"> <head> <meta
2021-05-14 22:45:42
298
原创 Spark编程基础（三）
Spark SQL 简介 Spark SQL是Spark生态系统中非常重要的组件，其前身为Shark。 Shark即Hive on Spark，Shark的实现继承了大量的Hive代码，因而给优化和维护带来了大量的麻烦，特别是基于MapReduce设计的部分，成为整个项目的瓶颈。因此，在2014年的时候，Shark项目中止，并转向Spark SQL的开发。 Spark SQL架构 Spark SQL增加了SchemaRDD（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数
2021-04-12 13:25:28
369
原创 Spark编程基础（二）
Spark编程基础（Python版） RDD编程初级实践 一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu18.4 Spark版本：2.4.0 Python版本：3.7.0 三、实验内容和要求 1．pyspark交互式编程 下载chapter4-data1.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataSt
2021-04-05 22:10:00
5392
原创 Spark编程基础（一）
Spark编程基础（Python版） Spark简介 Spark是一种安全的、经正式定义的编程语言，被设计用来支持一些安全或商业集成为关键因素的应用软件的设计。 Spark具有如下几个主要特点： 运行速度快 容易使用 通用性 运行模式多样 RDD是什么 弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算 SparkContext的概念 SparkContext是整个spar
2021-04-05 21:38:49
987
原创 大数据生态与Spark简介
** 大数据生态与spark简介 ** 首先了解一下，大数据是什么呢？ 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的四大V：数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Value) 第一代诞生的大数据生态圈是由Google通过各种发表关于Hadoop的相关论文，开源等措施推动的，然后各个成员跟随，例如A
2021-02-26 22:13:48
2713
4
原创 Python时间模块转换&哈希加密
Python时间模块转换&哈希加密 一、时间模块转化 1、将时间戳转化为时间元组 #gmtime —> UTC国际标准时间 #localtime —> 本地时间 print(time.getime(72047023)) print(time.localtime(72047023)) 2、将时间元组转化为时间字符串 print(time.strftime("%Y-%m-%d %H:%M:%S",time.gmtime(72047023))) 3、将时间字符串转化为时间元组 print(
2020-11-22 19:32:14
593
原创 Python内置模块
Python内置模块 一、sys模块 用于设置或获取Python解释器的信息 print(sys.path) python包和模块所在的路径 sys.argv 命令行参数List，第一个元素是程序本身路径 sys.exit( ) 退出程序，正常退出时exit(0) sys.version 获取Python解释程序的版本信息 sys.maxint 最大的Int值 sys.platform 返回操作系统平台名称 二、OS模块 1
2020-11-17 19:49:31
270
1
原创 Python模块、包与文件
Python模块、包与文件 一、模块 1、以 .py结尾的文件都是模块；模块中可以包含定义好的函数、变量、类和数据等内容。 2、在模块被调用执行后会自动被Python解释器编译成二进制文件，用于对模块加速执行。 -pycache-目录下创建 模块名.cpython-版本.pyc 3、 * 引用所有 ， as 起别名 模块的引入 我们可以使用 import 语句或from…import语句来引入模块 二、包 1、包是用于存放模块的文件夹，将有关联或同一类型的模块放同一文件夹中，包中必须含有–ini
2020-11-14 14:29:58
554
1
原创 Python高阶函数与装饰器函数
Python高阶函数与装饰器函数 高阶函数 1、可以使用函数对象作为参数的函数 2、或可以将函数作为返回值的函数 3、函数对象：定义好的函数，使用函数名调用（不要加括号） #将函数作为参数的高阶函数，通过传入不同的函数，可以使执行的结果不同 4、内置高阶函数 （1）map数据映射函数 map函数接收的是两个参数，一个函数，一个序列，其功能是将序列中的值处理再依次返回至列表内。其返回值为一个迭代器对象 （2）reduce累计函数 reduce函数也是一个参数为函数，一个为可迭代对象的高阶函数，其返回值
2020-11-08 10:27:10
931
5
原创 我的Python生涯
最适合编程入门的语言之一——Python Python语言特点简单概括如下： （1）语法简单，容易学习和运用 （2）面向对象编程 （3）跨平台，具有可移植性 （4）模块化开发，功能丰富 （5）具有很好的扩展性 不过它火起来的主要原因，还是它的应用范围实在是太广泛了！ 学会Python的话，像：人工智能工程师、数据分析师、爬虫工程师、前后端开发、大数据工程师、运维测试工程师等等岗位都可以自由选择。 人生苦短，我用Python，接下来讲讲Python的各种基础知识点。 一、变量 变量是保存和表示数据值的一种语法
2020-10-31 11:52:45
3168
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人