- 博客(16)
- 资源 (1)
- 收藏
- 关注
原创 第五章总结Spark sql
Spark SQL主要提供了以下三个功能: Spark SQL可从各种结构化数据源中读取数据,进行数据分析。Spark SQL包含行业标准的JDBC和ODBC连接方式,因此它不局限于在Spark程序内使用SQL语句进行查询。Spark SQL可以无缝地将SQL查询与Spark程序进行结合,它能够将结构化数据作为Spark中的分布式数据集(RDD)进行查询。Spark SQL使用的数据抽象并非是RDD,而是DataFrame。在Spark 1.3.0版本之前,DataFrame被称为SchemaRDD。
2024-05-15 08:02:17
837
原创 第三章Spark编程总结
parallelizeO方法有两个输人参数,说明如下:(1)要转化的集合:必须是 Seq集合。Seq 表示序列,指的是一类具有一定长度的、可迭代访问的对象,其中每个数据元素均带有一个从0开始的、固定的索引。(2)分区数。若不设分区数,则RDD 的分区数默认为该程序分配到的资源的 CPU核心数。makeRDD0方法有两种使用方式,第一种使用方式与 parallelize0方法一致;第二种方式是通过接收一个 Seq[(T,Seq[String])]参数类型创建 RDD。
2024-05-13 16:28:45
995
原创 Spark--Scala基础知识总结(第二章)
了解数据类型Scala常用数据类型数据类型描述Int32位有符号补码整数。数值区间为−3276832767Float32位IEEE754IEEE浮点数算术标准)单精度浮点数Double64位IEEE754IEEE浮点数算术标准)双精度浮点数String字符序列,即字符串Boolean布尔值,true或falseUnit表示无值,作用与Java中的void一样,是不返回任何结果的方法的结果类型。Unit只有一个实例值,写成()Scala。
2024-05-13 13:55:42
1609
原创 无人售货机零售项目ECharts展现
无人售货机是商业自动化的常用设备,它不受时间、地点的限制,能节省人力、方便交易。某公司部署的无人售货机,目前经营状况并不理想。为了挖掘经营状况不理想的具体原因,需要了解该公司后台管理系统数据的基本情况。目前,无人售货机后台管理系统积累了大量用户的购买记录。在无人售货机信息表数据的预处理与建模完成后,从无人售货机销售的整体情况、销售情况、库存情况和用户情况4个方向对预处理和建模后的数据进行可视化展现与分析。
2024-05-13 09:54:50
1457
1
原创 echarts
绘制一个多表联动图主题是专升本目标院校报率比并采取echarts的事件和行为锁定目标院校的专业官网。要求:1.标题2.触发3.事件行为。
2024-04-22 11:10:06
239
1
原创 echarts自定义主题
在使用主题之前需要下载主题.js文件(在ECharts官网上下载官方提供的主题,如:macarons.js,或者自定义主题),下载地址:https://www.echartsjs.com/zh/download-theme. html。2.ECharts为图表提供了多种主题,可以动态切换主题,在其官网上就提供了vintage,dark,macarons,infographic,shine,roma几种主题的选择。3.ECharts还有主题构造工具,用于自定义ECharts主题,以做到个性化定制。
2024-04-15 11:34:39
1322
1
原创 Scala算法例题
val p = lengths.toList // 将数组转换为列表println(p) // 输出: List(2, 3, 4, 6)val p1 = ppp.toList // 将数组转换为列表println(p1) // 输出: List(4, 10, 6, 88, 66)
2024-03-27 16:16:49
290
原创 申留真也能学会的制作图表
会员信息表.xlsx ”文件记录了某鲜花店销售系统上的会员信息,具体包括会员编号、姓名、性别、年龄、年龄段、城市、入会方式、会员级别、会员人会日、 VIP 建立日、购买总金额、购买总次数信息。绘制堆积柱状图分析会员年龄分布,绘制标准条形图分析会员入会渠道,绘制瀑布图分析不同城市会员消费总金额分布。(1)在 VS Code 中依次创建3个 .html 文件,分别为 stackBar.html 、standBar.html 和 falls. html。(3)掌握瀑布图的绘制。(2)掌握圆环图的绘制。
2024-03-25 08:03:59
558
原创 spark和scala
右键单击“此电脑”图标,选择“属性”选项,在弹出的窗口中选择“高级系统设置”选项。在弹出的对话框中选择“高级”选项卡,并单击“环境变量”按钮,在环境变量对话框中,选择“Path”变量并单击“编辑”按钮,在Path变量中添加Scala安装目录的bin文件夹所在路径,如“D:\Program Files (x86)\spark\scala\bin”。选择安装路径,本文Scala的安装路径选择在非系统盘的“D:\Program Files (x86)\spark\scala\” ,单击“OK”按钮进入安装界面。
2024-03-06 14:46:40
581
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅