分布式
关注
分享
扫一扫
文章平均质量分 77
tiweeny
这个作者很懒，什么都没留下…
展开
-
【分布式编程】一——基于VirtualBox的Hadoop完全分布式环境搭建
系统架构虚拟机环境：VirtualBoxLinux系统：Ubuntu 16.04 LTS工具包JDK1.8Hadoop 2.7.5 拓扑结构：如下操作步骤【注】本步骤以Master为例，其他虚拟机可以使用克隆功能复制，然后更改安装常用软件安装vimsudo apt-get install vim安装工具包设置共享文件夹原创 2018-02-07 11:12:02 · 1772 阅读 · 0 评论 -
【分布式编程】二——基于Hadoop的MapReduce程序
此前配置好分布式Hadoop环境，此篇主要讲解通过Intellij IDEA编写分布式MapReduce程序以及利用Hadoop实现词频统计系统环境虚拟机：VirtualBoxLinux：Ubuntu 16.04 LTSHadoop 2.7.5IDE：Intellij IDEA JDK 1.8.0_151 安装Intellij及破解安装Intellij IDE原创 2018-02-07 11:12:40 · 1712 阅读 · 0 评论 -
【分布式编程】三——基于VirtualBox的Spark完全分布式环境
前言Spark的搭建依赖于Hadoop，因此本文基于之前分布式Hadoop环境，JDK、Hadoop等已安装好，系统环境虚拟机：VirtualBoxLinux：Ubuntu 16.04 LTSHAdoop 2.7.5IDE：Intellij IDEAJDK 1.8.0_151Scala-2.12.4Spark-2.2.1操作步骤安装Scala原创 2018-02-07 11:13:26 · 829 阅读 · 0 评论 -
【分布式编程】四——Pycharm运行Python版Spark程序
前言此前搭建成功分布式Spark环境，此文介绍使用Pycharm运行Python语言的Spark程序。操作步骤安装Pycharm点击下载。过程与安装Intellij IDEA类似，在此不在赘述。进入到安装目录下执行./bin pycharm-sh配置运行环境创建新项目新建一个Python文件，这里命名为main.pyfrom pyspar原创 2018-02-07 11:13:48 · 1686 阅读 · 0 评论