从0到1搭建spark集群---企业集群搭建

多维聚合中的数据变形术:维度层级、度量类型与变形链路实战 多维聚合是BI分析与数据仓库建设的核心能力,其本质并非简单GROUP BY,而是围绕维度拓扑结构与度量数学性质展开的系统性数据变形。维度不是扁平标签,而是具有树状层级(如省→市→店)或交叉关系(如产品×渠道)的坐标体系;度量则需按可加性、半可加性、不可加性分类,决定SUM、LAST_VALUE或重算等聚合方式。技术价值在于保障聚合结果的业务可解释性与决策可信度,广泛应用于销售归因、用户行为分析、IoT时序汇总及财务口径对齐等场景。本文聚焦真实生产环境中的维度对齐、度量标准化与粒度声明三大变形链路,结合Pan 阅读详情

今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群。

一。下载Spark安装包

可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6

在官网中找到对应的链接即可http://spark.apache.org/downloads.html

或者用本人云盘下载地址 附上链接如下链接:https://pan.baidu.com/s/1o7Vrkue 密码:sc2z

二。部署和规划Spark集群

提前准备好四台虚拟主机,三台主机 node1 node2 node4 做Spark集群  develop做Spark客户端用于提交程序

集群规划如下:

node1 Master节点 node2,node4 Worker节点 架构图如下:

 在此之前需要配置Master节点到Worker的免密登陆因为在Master节点需要启动所有的Worker节点,所有需要配置Master到Worker的免密登陆 只需要这一个免密配置即可 不需要配置woker--worker  worker-master节点的免密  因为主要是在Master节点上启动集群

   免密设置具体参考如下:http://blog.youkuaiyun.com/leexide/article/details/17252369

1.分别在三台集群下创建同名目录 (目录一定要一致,方便集群部署)

本集群环境创建为/root/spark目录

2.使用Xshell将文件上传至其中某个节点即可(没有必要上传全部节点,因为后期还要重新配置)

上传至某个节点之后,假设上传到主节点Master节点后

 3.解压目录,命令和结构如下

 tar -zxf   spark-1.6.0-bin-hadoop2.6.tar

然后重命名 方便后期部署

mv  spark-1.6.0-bin-hadoop2.6  spark-1.6.0

结构如下:

4.配置参数

进入到配置目录,路径为

/root/spark/spark-1.6.0/conf

后可看见文件如下

我们需要把template关键字去掉 因为是个模板文件 简单介绍下文件作用:

slaves文件---worker几点所在目录

spark-default.conf目录文件 默认配置文件

spark-env.sh环境配置文件

这几个是我们主要用的

更改后的目录文件格式如下:

配置spark-env.sh

可以看到集群配置参数如下,我们主要配置这些参数

配置完后的截图如下:

 

 解释一下参数意义:

SPARK_MASTER_IP=node1  #主节点主机名

SPARK_MASTER_PORT=7077 #主节点和Worker的通信端口

SPARK_WORKER_CORES=2 # 每个worker进程能管理两个核

SPARK_WORKER_MEMORY=2g # 每个worker进程能管理2g内存

SPARK_MASTER_WEBUI_PORT=8888 # 主节点WEB-UI展示图  默认端口是8080

SPARK_WORKER_INSTANCES=1 #每个worker节点能够启动的worker进程 默认是一个 如果为2  则每一个worker几点能够启动2个Worker进程 就这意思

根据这配置 则 Master节点能够管路4core 4g内存(有两个Worker进程 每一个worker进程管理两个核,2g内存)

 配置slaves文件:配置从节点的ip 或主机名

截图如下

5.将主节点的配置分发到从节点 同名目录下

命令如下:

回到spark的主目录配置文件

 

然后分发到node2  node4节点 这里命令如下`pwd`即到当前目录

6、启动Spark集群:
    执行安装包sbin目录下的start-all.sh脚本
    ./sbin/start-all.sh

 7.查看集群状态

jps命令为jvm的命令与局之一 专门查看java进程

Master节点状态:

Worker节点状态:

 

查看WEBUI是否能访问:

注意关闭Linux的防火墙:具体操作如下

/etc/init.d/iptables status

会得到一系列信息,说明防火墙开着。

/etc/init.d/iptables stop

永久关闭:

chkconfig --level 35 iptables off

在本机访问node1:8888(别忘配置host)

 

 至此,集群搭建成功!

8.测试集群是否可用

 将主节点中的spark文件同步到客户端develop节点

在develop节点中提交spark任务 ,由于本例测试 所以直接提交spark自带测试用例 计算Pi的值

注意别忘配置Client(develop)客户端的host 因为要提交任务到Master节点(node1)节点上去运行

即可看见运行状态

在WebUI也可以看见

 

 到此集群测试完毕!!!

 

持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

 

Spark集群搭建的三种方式详解 Local 模式: 在本地模式下,Spark 将作为一个单独的 Java 进程在本地运行,不需要启动额外的集群资源。本地模式适用于开发和调试,可以快速运行 Spark 应用程序并查看结果,而不需要配置和管理集群资源。Standalone 模式: Standalone 模式是 Spark 提供的最简单的部署方式,也是默认的部署模式。在 Standalone 模式下,Spark 自身作为一个独立的集群运行,可以通过启动 Spark Master 和 Spark Worker 进程来启动一个完整的 Spark 集 阅读详情

相关推荐

服务器最全安装、配置、启动Spark集群

(10)由于slave1节点也需要安装 spark,因此可以先将master节点的 /opt/spark-2.2.0 文件和 /etc/profile 文件拷贝到slave1的相同路径下。(11)由于slave2节点也需要安装 spark,因此可以先将master节点的 /opt/spark-2.2.0 文件和 /etc/profile 文件拷贝到slave2的相同路径下。(3)解压 spark 文件到当前目录(/opt)下面,使用相对路径或者绝对路径均可,下面的命令使用绝对路径。

hellowangxiansheng的博客 2553

PySpark MLlib分布式分类实战:从Car Evaluation数据集到生产级流水线

机器学习分类任务在大数据场景下需突破单机范式,转向分布式原生架构。PySpark MLlib并非scikit-learn的简单平移,其核心在于将特征工程、模型训练与评估全流程重构为惰性求值、分区感知、向量化计算的分布式行为。关键技术包括StringIndexer的handleInvalid容错机制、VectorAssembler对稀疏/密集向量的底层优化、MulticlassClassificationEvaluator的跨分区聚合逻辑,以及PipelineModel对端到端一致性的保障。以Car Eval

weixin_30684743的博客 315

react-window 大数据列表和表格数据渲染组件之虚拟滚动

ReactWindow是一个高性能的React虚拟滚动组件库,专门用于高效渲染大型列表和表格数据。它通过“窗口化”技术,仅渲染用户可见区域的内容,大幅提升性能并减少内存消耗。主要特点包括:支持固定/可变大小列表项、多种布局类型(垂直/水平/网格)、轻量级设计(不足5KB)以及平滑的滚动体验。相比传统渲染方式,它能轻松处理成千上万条数据,并提供自动滚动、自适应容器大小等高级功能。与同类库相比,ReactWindow具有更简洁的API和更优的性能表现,是处理大数据量渲染场景的理想选择。

前端开发-前端技术分享 1138

Spark集群启动过程分析

Spark集群启动过程分析,包括启动参数配置、脚本调用流程详细分析,已经Master和Worker启动后的一些初始化操作

落枫寒的博客 2188

Linux下OpenFire+Spark即时通讯环境搭建全攻略(含证书错误解决方案)

本文提供了一份详尽的Linux环境下OpenFire服务器与Spark客户端即时通讯系统的搭建与配置全攻略。内容涵盖从环境规划、服务端部署、数据库配置到客户端连接的全流程,并重点解决了Spark连接时常见的证书验证错误问题,为企业构建私有化、高可用的XMPP通讯平台提供了实战指导。

weixin_29251131的博客 167

VOF模型求解方法:从SIMPLEC到PISO的稳定性优化策略

本文深入探讨了VOF模型求解方法中SIMPLEC与PISO算法的稳定性优化策略,重点分析了两种算法在稳态和瞬态问题中的应用差异。通过对比PRESTO离散化方法与其他格式的优劣,提供了针对多相流模拟的实用设置建议和稳定性优化技巧,帮助工程师有效提升计算效率和精度。

yellow的专栏 1154

Spark运行环境搭建

(2)启动Local环境 进入解压缩后的路径,执行一下命令

weixin_52112640的博客 3649

基于MacOS本地部署OpenClaw+Ollama技术要点

本文基于MacOS系统下本地部署OpenClaw+Ollama的实操经验,梳理部署全流程中的核心技术要点、环境配置规范、故障排查方法及落地优化方案,聚焦“本地AI模型联动OpenClaw技能调度”的核心需求,为同类本地部署场景提供可复用的技术参考,规避常见部署风险,确保系统稳定运行。

在科技赋能新时代,共同探索基础理论和宇宙未知。 5168

Spark 集群搭建(完整)

如果要在 Yarn 中运行 Spark 程序, 首先会和 RM 交互, 开启 ApplicationMaster, 其中运行了 Driver, Driver创建基础环境后, 会由 RM 提供对应的容器, 运行 Executor, Executor会反向向 Driver 反向注册自己, 并申请 Tasks 执行。对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行。

weixin_45131680的博客 7394

手把手教你用示波器搞定PCIe 5.0 REFCLK时钟信号测量(附完整参数解读)

本文详细介绍了如何使用示波器进行PCIe 5.0 REFCLK时钟信号测量,包括示波器与探头的选择、关键参数的测量方法及解读,以及实战中的常见问题与解决方案。通过手把手教学和完整参数解读,帮助硬件工程师高效完成时钟信号测量,确保系统稳定性。

weixin_28704565的博客 362

Unity IAP插件实战:从零搭建Google Play内购系统

本文详细介绍了如何使用Unity IAP插件从零搭建Google Play内购系统,涵盖环境准备、双端配置、核心API实现及常见问题排查。通过实战代码示例,帮助开发者快速掌握跨平台内购功能开发,提升手游商业化效率。

weixin_28692867的博客 431

大数据技术——spark集群搭建

Spark是一个开源的大数据处理框架,它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型,可以在内存中快速地处理大规模数据。Spark支持多种数据处理方式,包括批处理、流处理、机器学习和图计算等。Spark的生态系统非常丰富,包括Spark SQL、Spark Streaming、MLlitGraphX等组件,可以满足不同场景下的数据处理需求。

qq_53142796的博客 5677

用 SNC 和 SAP Single Sign-On Secure Login 把 SAP 登录这件小事,变成一件安全又不用输密码的事

在传统的 SAP 系统里,登录这件事看起来很朴素:用户打开 SAP GUI,输入一个 SAP 用户名,再输入一个 SAP 密码,点回车,进系统,开始干活。表面上没毛病,但从安全角度看,这种老办法问题很大。默认情况下,这些用户名和密码在网络上传输时是明文,也就是不加密传输。攻击者如果在公司网络里做监听,理论上可以直接截取到口令信息,这种风险对今天任何一家合规要求高、审计严格的企业来说,基本是不可接受的。(SAP Help Portal)SAP 给出的答案叫做 ,全称是 。SNC 做的事情可以概括成两类:一类是

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 381

0038-如何在CDH集群安装Anaconda&搭建Python私有源

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.文档编写目的 Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。 在企业集群无外网环境下,通过搭建企业私有的Python源,可以使用pip工具方便的安装,以解决Anaco...

Hadoop_SC的博客 1421

Isaac Sim 入门教程(四)强化学习策略训练宇树人形机器人四足机器人示例

isaac_sim_policy_example Extension 是在 Isaac Sim 中部署 Isaac Lab 强化学习策略的一个框架和一组辅助函数。有关在 Isaac Sim 中训练和构建策略的详细信息,请访问在 Isaac Sim 中部署策略。该扩展程序默认已启用。如果被禁用,可在扩展管理器中搜索 isaacsim.robot.policy.example 重新启用。要运行下面的示例,请激活 “视窗”>“示例”>“机器人示例”,这将打开 “机器人示例 ”选项卡。

机器人控制与仿真应用 3938

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Spark集群搭建超详细教程

前言 在上一篇文章《Hadoop集群搭建配置教程》中详细介绍了Hadoop集群搭建的全部过程,今天为大家带来分布式计算引擎Spark集群搭建,还是使用三个虚拟机节点上进行安装部署,围绕Standalone模式和Yarn模式的这两种部署模式进行展开。 集群搭建具体步骤 注意:以下步骤均在hadoop1节点上进行操作,特殊说明除外! Standalone模式 1、下载spark-3.0.0的jar包 下载地址: https://archive.apache.org/dist/spark/spark-3.0.

笑看风云路的博客 1万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Spark集群部署和启动与关闭

YARN(Spark on YARN模式)是一款资源调度管理系统,支持动态资源分配策略,可以为Spark提供资源调度服务,由于在生产环境中,很多时候都要与Hadoop同在一个集群,所以采用YARN来管理资源调度,可以降低运维成本和提高资源利用率,避免出现多个资源管理器造成资源分配的混乱无序的问题。Mesos(Spark on Mesos模式)是一款资源调度管理系统,可以为Spark提供资源调度服务,由于Spark与Mesos存在密切的关系,所以在设计Spark框架时充分考虑到了对Mesos的集成。

从事移动开发八年,csdn博客专家,阿里云特邀专家,华为云云享专家,高级网络信息安全工程师,大数据工程师(高级),python技术开发(高级),HarmonyOS 应用开发者高级认证,现在某学校任教。 5万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署

操作系统:Ubuntu 18.04Spark版本:2.4.0。

木子一个Lee的博客 3649

尚硅谷hadoop3.x集群配置笔记及常见错误解决方式

1.搭建集群准备工作 总体流程 准备3台客户机(关闭防火墙、静态IP、主机名称) 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求:IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G(内存硬盘大小根据电脑配置自行更改) 关于是否安装桌面:未安装桌面的版本需要要执行以下命令,用于配置工具包集合,包含ifconfig等命令以及软件...

m0_51404279的博客 6791

Hadoop大数据集群搭建(超详细)

本文主要介绍了Hadoop集群的搭建过程,图文详细,适合新手入门

小飞飞V5的博客 6万+

搭建hadoop集群

搭建hadoop集群

陆卿之的博客 7529

Hadoop集群搭建(超级超级详细)

Hadoop集群搭建(超级超级详细)

皮埃尔的博客 3万+

Spark集群的搭建

(2)配置Workers文件。复制Workers.template文件并重命名为Workers,打开Workers文件删除原有内容,并添加如下代码,每一行代表一个子节点的主机名,这里的workers文件名为,slaves.template。(3)进入Spark的/conf目录下,复制spark-env.sh.template文件并重命名为spark-env.sh。(7)通过命令jps查看进程,开启Spark集群后,master节点增加了Master进程,而子节点则增加了Worker进程。

qq_74137843的博客 2335

大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到 第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定是自己的,自动获取的,不能和张部长的192.168.

m0_55901666的博客 1万+
上一篇: Pandas库的使用--Series
下一篇: Spark算子篇 --Spark算子之combineByKey详解
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值