lvoo86的博客

大数据 Hadoop HDFS 分布式存储系统 MapReduce 计算框架 Hive 用 SQL 访问 HDFS

需要多看几遍！！！ Spark 基本工作原理： 分布式 主要基于内存（少数情况基于磁盘） 迭代式计算 Spark 工作流程 客户端 (Client)，我们在本地编写了 spark 程序，然后你必须在某台能够连接 spark 的机器上提交修改 spark 程序。 Spark 集群：程序提交到 spark 集群上运行，运行时先要从 Hadoop Hdfs Hive 上读取数据，读取到的数据存储...

Spark 本身是使用 scala 开发的 开发 wordcount 程序 编写 Spark 应用程序，在本地进行测试 第一步：创建 SparkConf 对象，设置 Spark 应用的配置信息 ，使用 setMaster() 可以设置 Spark 应用程序要连接的 Spark 集群的 master 节点的 url ，但是如果设置为 local ，则代表在本地运行 第二步：创建 JavaSpa...