qq_44494957的博客

第6章 Spark SQL6.1 Spark SQL简介6.1.1 从Shark说起Shark的设计导致了两个问题6.1.2 Spark SQL设计6.1.3 为什么推出Spark SQL6.2 DataFrame概述6.3 DataFrame的创建6.4 DataFrame的保存6.5 DataFrame的常用操作6.6 从RDD转换得到DataFrame6.7 使用Spark SQL读写数据库6.1 Spark SQL简介6.1.1 从Shark说起Shark即Hive on Spark，为了

这里引用博主链接: https://blog.youkuaiyun.com/weixin_42039699/article/details/101045509.里面的命令如果不是root用户登录，就需要用到sudo命令运行

1 RDD编程基础1 RDD创建1. 从文件系统中加载数据创建RDDSpark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数，这个URI可以是：本地文件系统的地址// An highlighted blockscala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")lines: org.apache.spark.rdd.RDD[String] = f

scala总结scala概述spark新一代的内存级大数据云计算框架，是大数据的重要的内容spark使用scala编写的scala是scalable Language的简写，是一门多范式（范式/编程方式【面向对象/函数式编程】）的编程语言Martin odersky于年开始设计ScalaSpark的兴起带动Scala语言的发展scala的特点Scala是一门以java虚拟机为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态编程语言Scala是一门多范式的编程语言，Scala

安装Spark1 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让Spark使用HDFS存取数据。，不安装Hadoop，Spark只能访问本地文件系统数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安

1 安装编译打包工具1).安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中：接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：// An highlighted block#!/bin/bashSBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi