阿里云学生机搭建spark、hadoop集群（踩坑之路）

最新推荐文章于 2024-08-07 09:02:39 发布

一个扑向大数据的pre北漂

最新推荐文章于 2024-08-07 09:02:39 发布

阅读量3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： spark学习

本文链接：https://blog.youkuaiyun.com/qq_34297007/article/details/79819716

服务器：三台阿里云学生机（三个账号，都在华南1c）

系统：ubuntu

一、通过外网ip登录服务器

需要修改安全组,出入方向都一样，都加入这两条。为何加这两条后续慢慢说明。

第一条安全组功能之一就是为了能够本地ssh到服务器。（网上第一条几乎所有的端口配置都是22/22，后续解释为何改成1/65000）

授权策略	协议类型	端口范围	授权类型	授权对象	描述	优先级	创建时间	操作
允许	自定义 TCP	1/65000	地址段访问	0.0.0.0/0	all	1

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一个扑向大数据的pre北漂

关注关注

2
点赞
踩
19

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据领域Hadoop集群搭建的详细步骤

AI天才研究院

05-08

713

Hadoop是Apache基金会开发的分布式计算框架，核心组件HDFS（分布式文件系统）和YARN（资源管理系统）支撑了海量数据的存储与计算。本文聚焦Hadoop 3.3.6版本的集群搭建，覆盖单Master多Slave的基础架构（生产环境可扩展为HA高可用架构），适用于企业级数据仓库、日志分析、离线计算等场景。核心概念：解析Hadoop架构与组件职责；环境准备：操作系统、网络、JDK配置；集群搭建：配置文件修改、节点分发、启动流程；验证与调优：健康检查、性能参数调整；

Hadoop详细集群搭建

热门推荐

RomanyK的博客

03-16

1万+

Hadoop详细安装环境：在虚拟机上，或者租一个服务器（用学生证可以认证白嫖喔，阿里云服务器等）

5 条评论您还未登录，请先登录后发表或查看评论

spark阿里云集群搭建

qq_43184146的博客

08-24

522

因为现阶段使用到了spark，所以就想搭建spark集群平台在阿里云上，网上找了很多资料，发现每一个人写的都不太一样，试过几次发现搭建不成功，于是自己慢慢琢磨，总结他们的经验，最后自己成功搭建，写下此篇博客，防止以后再次需要搭建时遇到问题，以下为搭建步骤。 hadoop、scala集群安装成功下载安装官网下载地址：http://spark.apache.org/downloads.htm...

阿里云Centos7.3上 Spark2.3集群的搭建（ok！！！）

zhangvalue的博客

07-03

2139

两台 阿里云服务器 Centos7.3 首先是在前面的在阿里云上hadoop2.7.6集群已经搭建成功的基础之上再搭建spark集群查看之前在阿里云上Hadoop2.7.6的搭建笔记需要的就是先下载 Spark2.3 的安装包安装scala具体去看之前的笔记里面包括有scala的安装笔记下载了spark2.3 之后，解压wget http://mirrors.hust.edu.cn/a...

使用阿里云服务器通过docker搭建spark集群

qq_51287641的博客

07-07

979

参考文章：https://blog.youkuaiyun.com/qq_38234785/article/details/104168467 我采用的是阿里云服务器的centos，安装docker后，拉取Ubuntu镜像，配置好所需环境后commit为一个新的镜像ubuntu:spark，之后再docker run 三个ubuntu:saprk,进行搭建。基本步骤都是按照参考文章来的，这里主要记录一下遇到的一些问题及解决方法。问题及解决方法问题一：压缩包下载问题二：端口问题三：参考文章中有一些小错误12问题四：h

4台服务器集群搭建_阿里云服务器搭建spark集群和HDFS

weixin_39872334的博客

11-27

732

在阿里云服务器，基于docker手动配置spark集群、HDFS配置spark集群的方式当前最简单的方式是采用docker-compose，但这里采用最麻烦的手动配置，目的只是为了熟悉配置过程在阿里云上开启了三个docker，虚拟三个节点；节点间通过ssh免密通信；三个节点一起组成HDFS和spark集群1、制作自定义centos镜像1.1 原始镜像下载首先docker拉取一个centos7（注...

阿里云一键部署 Spark 分布式集群

weixin_34346099的博客

04-17

453

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，可以完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。本文主要目的是为大家提供一种非常简单的方法，在阿里云上部署Spark集群。通过<阿里云ROS资源编排服务>，将VPC、NAT ...

基于Docker的Hadoop集群搭建

Life_Cycle_的博客

04-05

1764

基于Docker的Hadoop集群搭建本文为在阿里云服务器上基于docker的Hadoop集群搭建安装思路为安装docker -> 运行docker导入ubuntu镜像 -> 运行ubuntu系统 -> 在系统中配置好单个节点 -> 将配置好的单个节点系统导出为镜像 -> 根据镜像启动多个docker容器 -> 多个docker容器就是集群了。总结：就...

hadoop3.0+spark2.0两台云服务器集群环境配置。

七和

12-19

2787

最近买了一台云服务器（阿里云）来做web服务器，做的网站只是初步版本（www.qihea.xyz），没人访问，觉得有些浪费。加上舍友也有一台云服务器（天翼云），并且最近在学spark，于是打算在这两台机器中搭建环境。这两台机器都是1核2g的，反正对于学习时足够了。在配置过程中我发现：我遇到的所有的bug，都是配置问题，尤其是简单的单词拼写的问题。如果你配置过程中有什么问题可以...

使用阿里云服务器搭建Hadoop分布式集群注意事项

Clearlove灬Star

04-03

686

小编以前在学习Hadoop时使用了两台阿里云服务器搭建了一个分布式集群，今天就来总结一下在阿里云上搭建集群与普通方式（n台电脑）的区别即注意事项！ 1./etc/hostname必须改，master改为master，slave1改为slave1等等。 2./etc/hosts中原来的内容全部删除，然后加入namenode和datanode的ＩＰ以及名字；特别注意，master中的hosts中的ma...

在阿里云上搭建spark分布式环境。

will

02-10

3025

参考资料：（我觉的参考资料比我的更重要，所以它在前面。）http://www.mak-blog.com/spark-on-yarn-setup-multinode.html张丹阳. 阿里云实现Spark的分布式计算https://www.cnblogs.com/freeweb/p/5773619.html三台EMC服务器，ubentu系统。下载一个putty，做远程连接。第一步：修改/etc/ho...

阿里云ECS上搭建Hadoop集群环境——“启动Hadoop时，datanode没有被启动”问题的解决

干勾鱼的优快云博客

07-30

1413

地方

阿里云ECS Spark安装

stella_wu1017的博客

07-03

1338

续上篇Hbase 下载spark2.11.0和scala 以下是对spark的版本描述 Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.1 uses Scala 2.11. You will need to use a compatible Scala version (

Spark遇到的两三事以及阿里云搭建spark集群的大坑

zh_wang的博客

12-02

1172

1）错误代码如下： //distinctsubject是对应学科名的rdd数组。 val distinctsubject: RDD[String] =allsubject.distinct() //这个思路是将rdd中的字符串取出来，一个个用作筛选分组。 distinctsubject.foreach(dsbj=>{ //逐个筛选出每个学科对应老师的数据（take是一个action，...

CentOS7 + Hadoop3.2.0 + Spark2.4.3搭建

ChungChinKei' blog

08-05

1678

搭建准备首先下载Spark安装包，注意如果之前搭建了Hadoop，要选择对应的的版本。我之前搭建的是Hadoop 3.2.0伪分布式环境，因此下载spark包的时候，要选择Pre-build for Apache Hadoop 2.7 and later. 在/usr/local下创建spark文件夹，然后解压我们刚才下载的包。 [root@DW1 spark]# tar -zxvf spa...

centos7 (阿里云、linux) 单机spark的安装与配置详解(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

DayDayUp

12-28

694

centos7 单机spark的安装与配置详解文章目录1.yum进行更新2. jdk安装与配置3. scala安装与配置4. spark安装与配置 1.yum进行更新 yum upgrade saprk的安装需要安装jdk、scala、spark 2. jdk安装与配置安装 sudo yum install java-1.8.0-openjdk-devel.x86_64 配置我们需找...

Spark 教程 - 阿里云基于 Spark 的云原生数据湖分析实践

qq_33240556的博客

07-13

454

阿里云基于Spark的云原生数据湖分析实践，主要聚焦于如何在云环境中高效地利用Spark进行大规模数据分析，同时融入云原生技术的优势，例如容器化、微服务、持续交付和自动化运维等。

三台学生账号的阿里云服务器hadoop分布式集群搭建与虚拟机上搭建集群区别

qq_41953252的博客

08-28

876

在三台阿里云服务上配置/etc/hosts文件应注意配置主机映射【三台都需要需要添加】 # vi /etc/hosts （node-47为例） 106.xx.xx.xxx node-106 （外网ip） 172.xxx.xx.xx node-47 （内网ip） 101.xx.xx.1xx node-101 （外网ip）注意：这里有坑，就是每台机器配置hosts...

阿里云Spark部署工具使用教程