- 博客(15)
- 收藏
- 关注
原创 hadoop完全分布式安装
9、编辑hadoop-env.sh,并且重新生效export JAVA_HOME=/home/software/jdk1.8.0_131export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop10、编辑core-site.xml,添加如下内容:<!--指定hdfs的nameservice,为整个集群起一个别名--><property> <name>fs.defaultFS</nam
2021-09-02 08:10:31
222
原创 11、spark
第十二(十一)天:spark一、spark(一)介绍(Ⅰ)spark起源(Ⅱ)Spark的技术背景(二)spark vs MapReduce(Ⅰ)MapReduce存在的问题(Ⅱ)Spark的优势(Ⅲ)Hadoop 的 MapReduce 为什么不使用内存存储?二、spark安装(一)单机模式(Ⅰ)上传文件(Ⅱ)解压并修改文件名(Ⅲ)修改配置文件(Ⅳ)启动(二)集群模式(三)On yarn(集群,资源管理交给yarn调度)三、RDD(一)RDD介绍(Ⅰ)概述(Ⅱ)查看RDD(Ⅲ)分区概念(Ⅳ)简单使用(RD
2021-08-28 17:40:09
1894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人