GCPOP的博客

读写HBase数据① 在hbase-shell中使用命令创建HBase数据库；② 使用Spark读写HBase数据库中的数据。实验原理-> HBaseHBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。-> hbase-shellhbase-shell是一种HBase交互式操作环境，可以在其中输入命令，完成数据库创建和

编写Spark独立应用程序(sbt)① 使用Scala语言编写Spark独立应用程序；② 使用sbt工具对Spark应用程序进行编译打包。实验原理-> sbtSBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利，但它是一个通用的构建工具。可以使用sbt工具，对采用Scala语言编写的Spark应用程序进行编译打包。1. 安装sbt工具下载安装包请打开浏览器访问如下链接进行下载拷贝代码http://file.ictedu.com/fileserver/big_data_

实验拓扑图编写Spark独立应用程序(Maven)① 使用Scala语言编写Spark独立应用程序；② 使用Maven工具对Spark应用程序进行编译打包。实验原理-> MavenMaven是一个项目管理工具，它包含了一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(

在spark-shell中运行代码① 能够使用正确的方式启动spark-shell；② 能够在spark-shell中进行交互式编程。实验原理-> spark-shellspark-shell提供了简单的方式来学习 API，并且提供了交互的方式来分析数据。你可以输入一条语句，spark-shell会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），它为我们提供了交互式执行环境，表达式计算完成以后就会立即输出结果，而不必等到整个程序运行完毕，

Scala的安装和使用方法① 在Linux系统中安装Scala；② 使用Scala REPL；③ 编译打包Scala程序代码。实验原理-> ScalaScala于2004年1月公开发布1.0版本，目前仍处于快速发展阶段，每隔几个月就有新的版本发布。Spark从2.0版本开始都采用Scala2.11编译，因为本教程使用的Spark版本是2.1.0，其对应的Scala版本是2.11.8，所以，本教程中的Scala选用2017年4月发布的2.11.8版本。Scala运行在Java虚拟机（JVM）之上，

此笔记为第一篇，学校开放华为云平台，帮助我们学习有关大数据方面相关知识的学习笔记，因为是云平台，是已经搭建好linux环境了，使用的是Ubantu。精心整理，自学笔记，如有什么问题，请耐心指正Hadoop的安装和使用学习Hadoop的安装和使用1 安装Hadoop前的准备工作介绍安装Hadoop之前的一些准备工作，包括创建hadoop用户、安装SSH和安装Java环境等。先配置hosts，输入以下命令，将本机的hostname添加到hosts文件中：拷贝代码echo "127.0.0.1 "$H

Spark的安装① 在Linux系统中安装Spark；② 运行Spark自带实例。实验原理-> SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更