- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark结课文章
1.DataFrame简介2.DataFrame的创建我们通过Spark读取数据源的方式进行创建DataFrame3.RDD直接转换为DataFrame在Scala语言中使用Spark SQL进行操作时，通常会用到DataFrame API。以下是一个简单的例子，展示如何使用Scala语言结合Spark SQL创建DataFrame并执行SQL查询：首先，确保你已经有了一个SparkSession实例，这是与Spark交互的主要入口点。// 初始化SparkSession。
2024-05-16 14:37:37
747
原创 大数据可视化 结课项目*无人售货机
饼图适用于对数据进行总结和概览，以便快速了解各类别的相对重要性或比例关系，而不需要深入详细分析每个类别的细节。尽管饼图在某些场景下非常有用，但也需要注意其局限性。例如，当类别数量过多时，饼图会变得拥挤难以理解；另外，饼图不适合用于展示时间序列数据或连续变量的分布情况。因此，在选择数据可视化方式时，需要根据数据类型、目的和观众需求来进行合理选择。
2024-05-13 11:31:59
1716
1
原创 大数据可视化 可爱教主波奇酱
需先下载主题样式，且必须有 jquer.js 文件，用html实现下列列表用到selection标签。需在文件尾部写入主题（这里用的异步所以复杂一下）
2024-04-25 15:44:12
224
4
原创 大数据可视化 爱心词云图
要想用自己的形状首先要有base64图像的码源，图片只能是矢量图，且尽量黑色，以下提供两个网站。base64图片转换工具。首先写一个词云图代码。
2024-04-15 11:35:25
681
2
原创 Idea Spark环境搭建
打开Dependencies勾选上scala与jars即可。选择Libraries 新加java项目。按住alt+ctrl+shift+s。打开设置，下载扩展scala。设置完成后选择Modules。
2024-04-11 18:52:36
218
1
原创 Spark scala 项目算法
例如：函数名(匿名函数名:(参数列表a)=>表达式的返回的类型，参数列表b)=匿名函数名（参数列表b）比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(1,4,7,9,10,6,8,99,88,66)1.定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作。2、定义一个高阶函数，对数据中的元素按照指定的规则进行过滤。规则: 对集合中每个元素进行操作，得到集合每个元素的长度。比如:Array(10,4,6,10,2)3、对数据中的元素按照指定规则进行分组。
2024-03-27 00:21:13
202
原创 Spark windows环境搭建
需先在windows中下载ideacl 软件 ，软件下载地址为还需装好java 环境下载教程进入官网点击 download,选择windows版本下载社区版，黑色的，点击下载，安装。安装好后，打开设置setting打开plugins 搜索scala,下载好后，重启软件打开文件新建project选择scala 选择idea选择scala sdk 选择自己的版本，确定新建项目选择object。
2024-03-14 20:10:25
379
1
原创 Spark scala 项目 九九乘法表
结果显示i 和j 都是整型的 等于1。最后一句println起到换行作用。第一行 var i,j=1。第一句循环 i 从1加到9。第二句循环 j 从1加到i。每次j内循环一次都会输出一次。当i为2时 j会从1加到2。定义变量i,j 等于1。j都会从1循环到i为止。
2024-03-13 11:24:03
1278
原创 大数据可视化 学习项目一
需要有html基础知识，将准备工作做好大数据可视化 准备工作-优快云博客第八行为容器容器容器可以有多个id 设置的是编号 可以理解为 名字style 中设置的是容器的大小第九行 和第十五行是一个整体 在其中的所有内容都是 属于 script 的 type设置的是脚本的类型var 设置变量 变量名为 mychar此行是初始化工作可以看见 div 的 名被作用在里面，即div 名字为main 的容器 被初始化了。
2024-03-12 00:44:28
1567
1
原创 Spark Sprak 与 Scala 搭建
编辑环境 vim /etc/profile 将下面添加到末尾 ---注意自己的路径，第一行为文件所在路径(为自己解压到的路径)且在完全分布式下，三节点。记住ip地址 打开Xftp7 或xshell 都可 这里演示用Xshell7。在主节点master上出现Master 在s1上出现Worker在s2上出现Worker。source /etc/profile 让刚刚编写的文件生效。source /etc/profile 让刚刚编写的文件生效。source /etc/profile 让刚刚编写的文件生效。
2024-03-10 14:35:39
546
1
原创 Spark sprak与scala 介绍
如果用户需要自行编写相关的图计算算法，并且在集群中应用，难度是非常大的。即可解决这个问题，因为它内置了许多与图相关的算法，如在移动社交关系分析中可使用图计算相关算法进行处理和分析。理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）查询的大规模并行查询引擎，允许用户通过权衡数据精度缩短查询响应时间，数据的精度将被控制在允许的误差范围内。快速（计算的中间结果是存在于内存中），易用，通用，随处运行，代码简洁。整个应用的上下文，控制应用的生命周期。
2024-03-06 11:38:54
744
1
原创 大数据可视化 准备工作
21.创建三个文件夹 css , js image,导入echarts.js ，echarts.min.js 到 js 中。6．然后依次下载 HTML snippcts , javascript , open in browser。17. 导入echarts.js ，echarts.min.js 到 js 中。11. 选择jdk版本 以及型号 在jdk17 版本之后无需手动配置环境。3.下载后启动，选择左边第五个按键（扩展下载）4.下载中文汉化包，下载好后即右下角弹出窗口。12.下载完成后 安装。
2024-03-04 11:13:51
461
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人