松花酿酒的博客

Spark整合Hive过程及遇到的问题 一、前置步骤 安装MySQL，创建用户（当然也可以直接用root用户）并授权 CREATE USER 'bigdata'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'bigdata'@'%' IDENTIFIED BY '123568' WITH GRANT OP...

Spark小练习——求各科老师最受欢迎的TopN  【注】本文参考自小牛学堂学习视频 Spark小练习——求各科老师最受欢迎的TopN 数据格式：http://bigdata.edu360.cn/laozhang 1.数据切分 val func=(line:String)=>{   val index=line.lastIndexOf("/")   val teacher=l...

                                                RDD基础 一、RDD基本特征 1.RDD是一个基本的抽象，操作RDD就像操作本地集合一样，降低了编程的复杂度。     A Resilient Distributed Dataset (RDD), the basic abstraction in Spark。 弹性的 可恢复的 分布式的 数据...

一、基本的RDD操作 1.RDD的转化操作 表1-1：对数据为{1，2，3，3}的RDD进行基本的转化操作 函数 目的 实例 结果 map() 将函数应用于RD'D中的每个元素 rdd.map(x=>x+1) {2,3,4,4}...