m0_73991249的博客

执行【vim /etc/profile】，将下面内容复制进去还没完....还有一个【~/.bashrc】配置文件需要配置我们的【JAVA_HOME】和​。

SPARK_HOME：表示Spark安装路径在哪里PYSPARK_PYTHON：表示Spark想运行Python程序，那么去哪里找python执行器JAVA_HOME：告知Spark，Java在哪里HADOOP_CONF_DIR：告知Spark，Hadoop的配置文件在哪HADOOP_HOME：告知Spark，Hadoop安装在哪里那么在做完了hadoop分布式集群配置和spark安装配置的兄弟们应该已经配置好了JAVA_HOME】【】【SPARK_HOME了，现在还差和。

其实这一篇我有简单提到这个MapReduse的概念，但是只是粗略的讲解，可以去大致看一眼MapReduse跟HDFS、YARN的关系：（另外注意，这一篇文章需要有一定java基础，本文大量用到java，不再过多解释java原理）

之前我们的hadoop不管是伪分布式还是分布式，都是配置在虚拟机上，我们有的时候想要运行一些mapreduce、hdfs的操作，又要把文件移到虚拟机，又要上传hdfs，麻烦得要死，那么有的时候我们写的一些java、python的hadoop代码，我们只想在本地运行一下看看有没有问题、会是一个什么结果怎么办？；那就需要在window配置hadoop系统环境，然后以后只需要在本地写代码运行就行了。

纯个人python的一个小回忆笔记，当时假期花两天学的python，确实时隔几个月快忘光了，为了应付作业才回忆起来，，适用于参考回忆。

纯个人python的一个小回忆笔记，当时假期花两天学的python，确实时隔几个月快忘光了，为了应付作业才回忆起来，，适用于参考回忆。

如何看他们的关系？首先HDFS将【NameNode】部署到一个节点先，分出多个【DataNode】分布到各个节点上，里面分别存储了将总的海量数据分散了的【子数据】，最后还要有一个节点有【Secondary NameNode】来备份【NameNode】的数据；

简单看一下，学习大数据将要了解、涉及到的各个模块、各个技术栈相信各位学过Linux的、或者对大学考试作弊深有研究的掉毛们，对虚拟机肯定不陌生，那么既然我们要学习大数据分布式处理，那就需要模拟多个服务器来实现，那一个计算机能配置成一个服务器，那我们总不能把自己的本机电脑配成服务器吧？而且我们一台电脑也没办法整多个服务器出来，那就需要虚拟机来配置构建服务器，来模拟代替一个真正的计算机。（虚拟机就是虚拟的一台计算机）