linux系统安装yarn,如何在CentOS 7上安装Yarn

本文档介绍了如何在CentOS7系统上安装Yarn,这是一个与npm兼容的JavaScript包管理器,旨在解决npm的一些问题,如加快安装速度。首先,您需要安装Node.js,然后启用Yarn的RPM软件包存储库,通过yum安装Yarn。完成安装后,您可以使用Yarn进行项目初始化、添加、升级和删除依赖项。文章还提供了常用Yarn命令的示例。

Yarn是与npm兼容的JavaScript软件包管理器,可帮助您自动化安装,更新,配置和删除npm软件包的过程。

创建它的目的是解决npm的一系列问题,例如通过并行化操作并减少与网络连接有关的错误来加快软件包的安装过程。

在本教程中,我们将向您展示如何从Yarn RPM软件包存储库在CentOS 7系统上安装Yarn。

先决条件

开始学习本教程之前,请确保您以具有sudo权限的用户身份登录。

在CentOS上安装Yarn

要在CentOS 7系统上安装Yarn,请执行以下步骤:

如果您尚未在系统上安装Node.js,请使用以下curl命令启用[Nodesource]存储库:curl --silent --location https://rpm.nodesource.com/setup_10.x | sudo bash -

通过输入以下内容安装Node.js软件包:sudo yum install nodejs

官方的Yarn存储库会得到持续维护,并提供最新版本。要启用Yarn存储库并导入存储库的GPG密钥,请发出以下命令:curl --silent --location https://dl.yarnpkg.com/rpm/yarn.repo | sudo tee /etc/yum.repos.d/yarn.repo

sudo rpm --import https://dl.yarnpkg.com/rpm/pubkey.gpg

添加存储库后,您可以通过运行以下命令来安装Yarn:sudo yum install yarn

通过打印Yarn版本号来验证安装:yarn --version

在撰写本文时,Yarn的最新版本为1.17.3。1.17.3

使用Yarn

现在,您已在CentOS系统上安装了Yarn,我们将探索一些最常见的Yarn命令。

创建一个新项目

要创建新的Yarn项目,请使用yarn init命令,后跟项目名称。例如,要创建一个名为my_project的项目,请输入:yarn init my_project

脚本会问您几个问题。您可以回答或按enter使用默认值:yarn init v1.17.3

question name (vagrant): Linuxize

question version (1.0.0): 0.0.1

question description: Testing Yarn

question entry point (index.js):

question repository url:

question author: Linuxize

question license (MIT):

question private:

success Saved package.json

Done in 20.18s.

完成后,脚本将创建一个基本的package.json文件,其中包含您提供的信息。您可以随时打开和编辑此文件。

添加依赖项

如果要在项目中使用另一个包,则需要将其添加到项目依赖项中。为此,请使用yarn add命令,后跟软件包名称:yarn add [package_name]

上面的命令还将更新项目文件package.json和yarn.lock。

您还可以指定软件包版本或软件包标签:yarn add [package_name]@[version_or_tag]

升级依赖项

要升级依赖项,请使用以下任一方法:yarn upgrade [package_name]

yarn upgrade [package_name]@[version_or_tag]

上面的命令将根据package.json文件中指定的版本范围将项目依赖项更新为最新版本。

删除依赖

要删除依赖项,只需键入:yarn remove [package_name]

此命令还将更新项目的package.json和yarn.lock文件。

安装所有项目依赖项

要安装在package.json文件中指定的现有项目的所有依赖项,请运行:yarn

或yarn install

结论

我们向您展示了如何在CentOS 7机器上安装纱线。有关纱线的更多信息,请访问纱线文档页面。

如果您有任何问题或反馈,请随时在下面评论。

<think> 我们正在处理一个关于在CentOS虚拟机上以YARN模式安装Spark的查询。根据提供的引用,我们可以整合步骤。注意,用户已经有一些引用,但我们需要综合这些信息并结合一般知识来给出详细步骤。 关键点: - 用户有多个引用,其中引用[1]提到了关键配置:`spark.master yarn`,这是告诉Spark使用YARN模式。 - 引用[2]展示了提交应用的命令,但那是独立部署模式(standalone),不是YARN模式。不过我们可以参考其提交应用的方式,但需要改为YARN模式。 - 引用[3]提到了离线安装Spark,并配置了`spark.yarn.archive`,这个配置很重要,它告诉Spark在HDFS上的依赖位置。 - 引用[4]和[5]都是关于在CentOS安装Spark集群环境的,其中引用[4]提到了需要先安装Hadoop集群(因为YARN是Hadoop的一部分)。 因此,我们可以推断出以下步骤: 1. 准备工作:搭建Hadoop集群(因为YARN是Hadoop的一部分),并确保其正常运行。同时,需要Java环境。 2. 安装Spark:在集群的所有节点上安装Spark,并配置Spark使其支持YARN。 3. 配置Spark:设置关键配置,如`spark.master`为yarn,以及配置依赖包的上传方式(如使用`spark.yarn.archive`或`spark.yarn.jars`)。 4. 测试:提交一个Spark应用,使用YARN模式运行。 详细步骤: 步骤1:准备环境 - 确保有至少三台CentOS虚拟机(如master, slave1, slave2),并配置好主机名、静态IP、SSH免密登录、时间同步等。 - 安装JDK(建议1.8或更高版本),并配置环境变量。 - 安装Hadoop集群(版本需要与Spark兼容),并启动HDFS和YARN。可参考引用[4]和[5]。 步骤2:安装Spark - 下载与Hadoop版本对应的Spark安装包(例如,如果Hadoop是2.6.0,则下载Spark的对应版本,如1.5.1,但注意版本兼容性,建议选择兼容的版本。目前Spark最新版本要求Hadoop至少2.7以上)。 - 将安装包解压到所有节点(例如解压到/opt/spark目录)。 - 配置环境变量(可选):在/etc/profile中添加SPARK_HOME,并将bin目录加入PATH。 步骤3:配置Spark以支持YARN模式 - 进入Spark的配置目录($SPARK_HOME/conf) - 复制模板创建配置文件: cp spark-env.sh.template spark-env.sh cp spark-defaults.conf.template spark-defaults.conf - 编辑spark-env.sh,设置JAVA_HOME和HADOOP_CONF_DIR(指向Hadoop的配置文件目录,如/etc/hadoop/conf): export JAVA_HOME=/path/to/java export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop - 编辑spark-defaults.conf,添加以下配置: spark.master yarn # 下面的配置是为了避免每次提交应用都要上传Spark依赖包,将依赖包打包上传到HDFS,然后配置这个地址 spark.yarn.archive hdfs://master:8020/spark-yarn-jars/spark.zip # 或者也可以使用spark.yarn.jars,但注意两者选其一 # spark.yarn.jars hdfs://master:8020/spark-yarn-jars/*.jar - 注意:需要提前将Spark的依赖包(位于$SPARK_HOME/jars目录)打包成zip(注意打包时不要包含目录层级),并上传到HDFS的指定路径。例如: cd $SPARK_HOME/jars zip -q ../spark.zip ./* hadoop fs -mkdir -p /spark-yarn-jars hadoop fs -put ../spark.zip /spark-yarn-jars - 另外,也可以选择在每个节点上本地安装Spark,这样就不需要上传依赖包到HDFS,但一般推荐使用HDFS方式,这样在集群中任何节点提交任务都不需要本地有依赖。 步骤4:启动Hadoop集群(若未启动) - 启动HDFS:在master节点运行 `start-dfs.sh` - 启动YARN:在master节点运行 `start-yarn.sh` 步骤5:提交Spark应用测试 - 使用spark-submit提交一个示例应用(如计算Pi): bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode client \ $SPARK_HOME/examples/jars/spark-examples_2.12-3.1.3.jar \ 10 - 注意:这里需要根据实际Spark版本和Scala版本调整jar包路径。 - 观察输出,如果成功,并且可以在YARN的Web UI(http://master:8088)看到应用,则说明安装成功。 注意事项: - 确保Spark版本与Hadoop版本兼容。 - 防火墙设置:关闭防火墙或开放Hadoop和Spark所需端口。 - 配置文件中的路径和地址需要根据实际环境修改。 引用说明: - 我们参考了引用[1]关于设置`spark.master yarn`的关键配置。 - 参考了引用[3]中关于`spark.yarn.archive`的配置,这有助于加速任务提交。 - 引用[4]和[5]提醒我们需要先搭建Hadoop集群。 以上就是在虚拟机CentOS上以YARN模式安装Spark的详细步骤。 相关问题: 1. 如何配置Spark以使用HDFS作为依赖包存储? 2. 在YARN模式下,Spark应用的提交方式有哪些(client和cluster模式的区别)? 3. 如何解决在YARN模式下运行Spark应用时常见的依赖问题? </think> ### 在虚拟机CentOS上以YARN模式安装Spark的详细步骤 #### 1. **前置准备** - **虚拟机集群**:准备至少3台CentOS 7虚拟机(如master、slave1、slave2),配置: - 静态IP(如192.168.233.128/129/130) - 主机名映射(`/etc/hosts`) - SSH免密登录(master可访问所有节点) - **基础环境**: - JDK 1.8+(所有节点)[^4][^5] - Hadoop集群(YARN模式)已部署并启动(`start-dfs.sh`和`start-yarn.sh`验证)[^4][^5] ```bash # 验证YARN状态 jps # 在master节点应看到ResourceManager ``` #### 2. **Spark安装与配置** - **下载解压**(所有节点): ```bash wget https://archive.apache.org/dist/spark/spark-3.1.3/spark-3.1.3-bin-hadoop2.7.tgz tar -zxvf spark-3.1.3-bin-hadoop2.7.tgz -C /opt/ ln -s /opt/spark-3.1.3-bin-hadoop2.7 /opt/spark ``` - **配置环境变量**(`/etc/profile`): ```bash export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin source /etc/profile ``` - **关键配置修改**: - **`spark-env.sh`**(复制模板并编辑): ```bash cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh ``` 添加内容: ```bash export JAVA_HOME=/path/to/jdk1.8 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop # 指向Hadoop配置目录 export SPARK_MASTER_HOST=master # master节点主机名 ``` - **`spark-defaults.conf`**: ```bash cp spark-defaults.conf.template spark-defaults.conf ``` 添加YARN模式核心配置[^1][^3]: ```bash spark.master yarn spark.yarn.archive hdfs://master:8020/spark-jars/spark.zip # 依赖包HDFS路径 ``` #### 3. **上传Spark依赖到HDFS** - **打包依赖**(在master节点执行): ```bash cd $SPARK_HOME/jars zip -q spark.zip ./* # 打包所有jar hadoop fs -mkdir -p /spark-jars hadoop fs -put spark.zip /spark-jars # 上传至HDFS ``` #### 4. **验证安装** - **提交测试任务**(Pi计算示例): ```bash spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ $SPARK_HOME/examples/jars/spark-examples_2.12-3.1.3.jar \ 10 ``` - **检查结果**: - 控制台输出:`Pi is roughly 3.1415...` - YARN Web UI(`http://master:8088`)查看任务状态[^2] #### 5. **常见问题排查** - **依赖包路径错误**:确保`spark.yarn.archive`的HDFS路径与上传路径一致[^3]。 - **端口冲突**:关闭防火墙或开放端口(8020/8088/8080)。 - **权限问题**:HDFS目录权限需开放(`hadoop fs -chmod -R 777 /spark-jars`)。 > **核心要点**: > 1. Hadoop集群必须提前部署且YARN正常运行[^4][^5] > 2. `spark.master yarn`是启用YARN模式的关键配置[^1] > 3. 通过HDFS分发依赖包(`spark.yarn.archive`)避免本地依赖缺失[^3] --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值