闻曦的博客

Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境1 集群规划1.1 节点规划1.2 VirtualBox网卡设置2 构建data12.1 复制生成data12.2 设置网卡2.3 配置data1服务器2.3.1 配置网络配置文件2.3.2 编辑hostname主机名2.3.3 设置hosts文件2.3.4 配置core-site.xml2.3.5 配置YARN-site.xm...

Spark+Hadoop集群搭建：（零）简介与说明1 背景2 主要内容3 参考文献1 背景2 主要内容利用虚拟机实现Linux操作系统上的Spark+Hadoop大数据集群，并进行一些简单的实验。主要包括1 单节点Hadoop环境搭建2 多节点（集群）Hadoop环境搭建3 Spark安装及pyspark的使用4 Spark Standalone Cluster的使用3 参考文献...

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境1 安装JDK2 下载安装Hadoop2.1 下载Hadoop2.2 解压2.3 配置Hadoop环境变量2.3.1 设置JDK与Hadoop安装路径2.3.2 设置HADOOP其他环境变量、链接库等2.3.3 保存设置2.4 修改Hadoop配置设置文件2.4.1 配置Hadoop-env.sh2.4.2 配置core-sit...

在VirtualBox虚拟机上安装Ubuntu Linux操作系统1 VirtualBox虚拟机的安装2 设置VirtualBox存储文件夹3 在VirtualBox中创建虚拟机3.1 新建虚拟机欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...

1.点击运行-编辑结构2.在python的环境变量中新加一个PYTHONPATH在其值中加入本地的spark中的python文件夹D:\spark\spark-2.2.0-bin-hadoop2.6\python以及本地的spark中的python文件夹中的lib下的py4j-0.10.4-src.zip    D:\spark\spark-2.2.0-bin-hado

利用python开发spark项目需要在本地安装spark一 本地安装1.下载http://spark.apache.org/downloads.html选择适合本机的hadoop版本，点击链接下载2.点击链接完成下载3. 解压文件4.配置环境变量新增SPARK_HOME=D:\spark\spark-2.2.0-bin-hadoop2.

1.打开eclipse，点击Window2.选择Preferences，并搜索maven3.选择Installations， 点击Add添加安装位置4.点击Directory添加maven的安装位置，点击Finish完成5.如图，选定对应的name6.继续配置User Settings，点击Browse选择maven文件夹中conf文件夹

一  install scala IDE1.在eclipse中点击Help，选择Eclipse Marketplace2.搜索scala，instal scala IDE二  保证eclipse集成了maven。默认是支持的三  设置Group Id: net.alchim31.maven Artifact Id: scala-archetype-simple Ve

一 安装IntelliJ IDEA1.到https://www.jetbrains.com/idea/download/#section=windows下载安装包2.安装并打开IDEA，选择不导入二 集成scala1.点击configure-plugins2.点击Browse repositories3.搜索scala选择红框对应的那个

Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark1 Scala安装1.1 下载安装包1.2 解压1.3 迁移目录1.4 配置环境变量1.5 启动scala2 安装Spark2.1 下载安装包2.2 解压2.3 迁移目录2.4 配置环境变量3 PySpark3.1 安装Python3.2 启动PySpark4 构建Spark Standalone Cluster运行环境4....