- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark SQL的使用
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
2023-11-21 05:27:29
1818
1
原创 spark开发一个程序，模拟生成新能源汽车数据集（字段信息必须包含：车架号、车型、采集时间、车速、行驶里程、故障码列表）
【代码】spark开发一个程序，模拟生成新能源汽车数据集（字段信息必须包含：车架号、车型、采集时间、车速、行驶里程、故障码列表）
2023-11-21 00:12:42
386
1
原创 spark开发一个程序，模拟生成新能源汽车数据集（字段信息必须包含：车架号、车型、采集时间、车速、行驶里程、故障码列表）
spark开发一个程序，模拟生成新能源汽车数据集（字段信息必须包含：车架号、车型、采集时间、车速、行驶里程、故障码列表）
2023-11-19 21:42:05
269
1
原创 hadoop调用HDFS java api实现在HDFS上创建文件夹
HDFS文件系统JavaAPI接口HDFS是存取数据的分布式文件系统，HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具。另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。
2023-06-28 16:25:29
3451
原创 数据可视化矩形树图
矩形树图(Treemap)也叫矩形式树状结构图，它采用多组面积不等的矩形嵌套而成在一张图中，所有矩形的面积之和代表了总体数据。各个小矩形的面积表示每个子项的占比，矩形面积越大，表示子数据在整体中的占比越大矩形树图适合展现具有层级关系的数据，能够直观体现同级之间的比较(矩形树图使用不同颜色和大小的长方形来显示数据的层次结构)矩形树图的好处在于，相比起传统的树形结构图，矩形树图能更有效得利用空间，并且拥有展示占比的功能。矩形树图的缺点在于，当分类占比太小的时候文本会变得很难排布。
2023-06-13 16:10:59
901
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人