- 博客(18)
- 收藏
- 关注
原创 Spark基础学习:掌握RDD算子(2)
按键归约算子 可能存在问题:在Windows下的IDEA中访问HDFS报错下载对应版本的,放在hadoop安装目录的子目录里配置hadoop环境变量 创建Maven项目 - SparkRDDDemo 将目录改为在文件里添加依赖和构建插件 在资源文件夹里创建日志属性文件 创建包 运行程序,查看结果 运行程序,查看结果 运行程序,查看结果...
2022-06-16 11:29:32
340
原创 Spark SQL案例:分组排行榜
同一个学生有多门成绩,现需要计算每个学生分数最高的前3个成绩 数据表 预备工作:启动集群的HDFS与Spark 执行上述语句
2022-06-16 08:29:58
554
原创 Spark RDD案例:词频统计
Spark RDD 词频统计 (四)创建词频统计单例对象 在包里创建单例对象 1、提交应用程序到集群中运行(1)不带参数运行程序 执行命令:spark-submit --master spark://master:7077 --class net.huawei.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar hdfs://master:9000/input/word.txt hd...
2022-06-15 21:20:01
224
原创 Spring容器练习
(一)创建杀龙任务类(一)创建勇敢骑士类package net.zxy.spring.day01;/** * 功能:勇敢骑士类 * 作者:zxy * 日期:2022年5月29日 */public class BraveKnight { //勇敢骑士姓名 private String name; //创建杀龙任务对象 private SlayDragonQuest slayDragonQuest; public Strin...
2022-05-29 15:08:52
191
原创 zxy私有云作业
任务1 、创建网络与实例四个虚拟机的私有ip地址zxy_win7:192.168.24.102master:192.168.24.103slave1:192.168.24.104slave2:192.168.24.105网络拓扑结构任务2、本机远程桌面连接win7虚拟机win7虚拟机的外网ip地址:192.168.177.142......
2022-02-28 20:33:16
1565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人