
Spark
文章平均质量分 95
大学本科期间大数据课程经验总结
诗卿°
Hadoop、Spark、虚拟化、云计算、NFV网络虚拟化
展开
-
Spark——期末考试大作业:求top值、文件排序、二次排序程序个性化
文章目录任务1:求top值程序个性化(30分) 1. 创建工作项目mcf14gzxm 2. 创建eclipse应用程序 3. 导入mcf14gzxm项目 4. 创建数据样本文件mcf14TopN.txt 5. 创建程序代码文件mcf14TopN.scala任务2:文件排序程序个性化(30分) 1. 创建数据样本目录mcf14file及文件mcf14file1.txt、mcf14file2.txt、mcf14file3.txt 2. 创建程序代码文件mcf14FileSort.scala任务3:二次排序程序个原创 2021-06-06 16:40:17 · 4668 阅读 · 0 评论 -
Spark——实验四:从HBASE建立RDD
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(16)通过命令行建立hbase程序 1.1 创建hbase表 1.2 配置Spark 1.3 编写程序读取HBase数据 1.4 编写程序向HBase写入数据 2. 基于ubuntukylin14.04(16)通过eclipse平台运行hbase程序 2.1 创建Hbase程序 2.2 在Eclipse运行HBase程序一. 实验目的 学习从hbase库建立RDD数据结构的主要技术。二. 实验内原创 2021-06-05 11:56:44 · 1337 阅读 · 0 评论 -
Spark——实验三:搭建基于eclipse的Spark开发环境
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(14)完成eclipse的安装 1.1 下载Scala IDE for eclipse4.7.0 1.2 安装Scala IDE for eclipse4.7.0 1.3 配置eclipse环境变量 1.4 sbt eclipse插件全局安装 2. 基于ubuntukylin14.04(16)完成求top值,文件排序和二次排序等三个实例练习 2.1 创建eclipse应用程序 2.2 求top值实例练习原创 2021-06-05 10:06:03 · 1551 阅读 · 0 评论 -
Spark——实验二:Spark安装与验证
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(10),安装spark,形成ubuntukylin14.04(11) 1.1 下载spark-2.1.0-bin-without-hadoop.tgz 1.2 安装Spark 1.3 修改Spark配置文件spark-env.sh 1.4 验证Spark 2. 基于ubuntukylin14.04(11),安装sbt0.13.15,形成ubuntukylin14.04(14) 2.1 下载sbt0.13原创 2021-06-04 22:35:31 · 3323 阅读 · 0 评论 -
Spark——实验一:Scala安装与验证
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(7)版本安装scala2.11.8 1.1 在官网下载Scala2.11.8 1.2 安装Scala2.11.8 1.3 配置Scala命令的环境变量 1.4 验证Scala 2. Scala实例练习 2.1 创建统计单词文本 2.2 创建词频统计Scala程序代码 2.3 运行词频统计代码 2.4 在Scala解释器中运行代码一. 实验目的 学习scala语言的安装,掌握其主要语法和应用技术原创 2021-06-04 20:45:45 · 987 阅读 · 0 评论