WistWill的博客

Spark中map和flatMap的区别详解本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。函数原型1.map(func)将原数据的每个元素传给函数func进行格式化，返回一个新的分布式数据集。(原文：Return a new distributed dataset formed by passing each element of ...

实验指导：39.1 实验目的了解常用的基于矩阵分解的协同过滤推荐算法的基本原理，掌握Spark MLlib中对基于模型的协同过滤算法的封装函数的使用，对Spark中机器学习模块内容加深理解。39.2 实验要求1． 实验提供数据集，包含用户数据、电影数据、电影评分数据以及我的评分数据；2． 根据提供的电影评分数据，利用Spark进行训练，得到一个最佳推荐模型；3． 用实际数据...

实验指导：30.1 实验目的1．会使用MapReduce访问Redis数据；2．会使用Spark访问Redis数据。30.2 实验要求1．在master机上，使用MapReduce代码读取Redis数据；2．在master机上，使用Spark代码读取Redis数据。30.3 实验原理假定现有一个大为1000G的大表big.txt和一个大小为10G的小表small.t...

实验指导：19.1 实验目的1．了解Spark的图计算框架GraphX的基本知识；2．能利用GraphX进行建图；3．能利用GraphX进行基本的图操作；4．理解GraphX图操作的算法。19.2 实验要求要求实验结束时，每位学生能完成正确运行Spark GraphX的示例程序，正确上传到集群中运行得到正确的实验结果。实验结束时能对实验代码进行一定的理解。19....

实验指导：18.1 实验目的1． 了解Spark Streaming版本的WordCount和MapReduce版本的WordCount的区别；2． 理解Spark Streaming的工作流程；3． 理解Spark Streaming的工作原理。18.2 实验要求要求实验结束时，每位学生能正确运行成功本实验中所写的jar包程序，能正确的计算出单词数目。18.3 实验原...

实验指导：15.1 实验目的1． 通过Spark-shell的操作理解RDD操作；2． 能通过RDD操作的执行理解RDD的原理；3． 对Scala能有一定的认识。15.2 实验要求在实验结束时能完成max，first，distinct，foreach等api的操作。15.3 实验原理RDD(Resilient Distributed Datasets，弹性分布式数据...

实验指导：16.1 实验目的1． 理解Spark编程思想；2． 学会在Spark Shell中编写Scala程序；3． 学会在Spark Shell中运行Scala程序。16.2 实验要求实验结束后，能够编写Scala代码解决一下问题，并能够自行分析执行过程。有三个RDD，要求统计rawRDDA中“aa”、“bb”两个单词出现的次数；要求对去重后的rawRDDA再去掉r...

实验指导：14.1 实验目的熟悉Scala语言，基于Spark思想，编写SparkWordCount程序。14.2 实验要求熟悉Scala语言，理解Spark编程思想，并会编写Spark 版本的WordCount，然后能够在spark-shell中执行代码和分析执行过程。14.3 实验原理Scala 是一门以 Java 虚拟机（JVM）为目标运行环境并将面向对象 (OO) ...

实验指导：13.1 实验目的能够理解Spark存在的原因，了解Spark的生态圈，理解Spark体系架构并理解Spark计算模型。学会部署Spark集群并启动Spark集群，能够配置Spark集群使用HDFS。13.2 实验要求要求实验结束时，每位学生均已构建出以Spark集群：master上部署主服务Master；slave1、2、3上部署从服务Worker；client上部署S...

实验指导：17.1 实验目的1． 了解Spark SQL所能实现的功能；2． 能够使用Spark SQL执行一些sql语句。17.2 实验要求1． 能在实验结束之后完成建立数据库，建立数据表的数据结构；2． 建立数据表之后能在Spark SQL中执行SQL语句进行查询；3． 练习怎么向Spark SQL中导入数据。17.3 实验原理Spark SQL用于以交互式...