权飞虎

Spark简介spark: 一个基于内存的，分布式的大数据处理框架（计算引擎）官网： http://spark.apache.org/ 中文官网： http://spark.apachecn.org/docs/cn/2.2.0/比较Hadoop中间结果的存储，spark优先使用内存，hadoop 使用磁盘spark的容错性更高。RDD，底层实现不一样 DAG...

Hadoop API命令上传文件 hadoop fs -put 文件 hdfs文件夹hadoop fs -put test.txt /files #将test.txt文件上传到hdfs文件夹files下删除文件hadoop fs -rm -r 文件/文件夹hadoop fs -rm -rf /quanfeihu/test.txt查看文件hadoop fs -ls ...

Hadoop环境安装官网:http://hadoop.apache.org/下载地址:http://hadoop.apache.org/releases.html安装步骤:下载安装包(废话)解压(废话)tar -zxvf hadoop-2.8.3.tar.gz -C /usr/local/soft/ #将文件解压到/usr/local/soft下解压完的目录为...