Spark yarn执行方式

最新推荐文章于 2024-11-06 19:57:28 发布

原创最新推荐文章于 2024-11-06 19:57:28 发布 · 359 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍如何使用Apache Spark平台上的自定义Java应用程序实现中文文本的朴素贝叶斯分类任务。主要通过spark-submit命令提交作业，并指定主函数类、部署方式等参数。

./bin/spark-submit --class org.xh.classification.chineseNaiveBayes.ChineseNavieBayes2 --master yarn --deploy-mode client /home/chineseNaiveBayes-0.0.1-SNAPSHOT-jar-with-dependencies.jar 1000
注释：
1. org.xh.classification.chineseNaiveBayes.ChineseNavieBayes2 主函数所在的类
2. /home/chineseNaiveBayes-0.0.1-SNAPSHOT-jar-with-dependencies.jar 项目的jar包

3. 1000 需要输入的参数

参考：https://blog.youkuaiyun.com/qq_23330633/article/details/52216155?locationNum=4