HDP 2.6.4 kettle 7.1 spark-submit配置

最新推荐文章于 2023-02-01 09:36:19 发布

原创

最新推荐文章于 2023-02-01 09:36:19 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

Kettle 提交spark sql 作业到 spark2！

Kettle 7.1
HDP 2.6.4

kettle 7.1自带hdp2.5插件，测试spark-submit到hdp2.6.4正常运行

参考官方资料

https://help.pentaho.com/Documentation/8.0/Products/Data_Integration/Job_Entry_Reference/Spark_Submit

测试包

设置

job

kettle 7.1上传到Spark服务器

/home/hdfs/data-integration

vi /etc/profile

export SPARK_HOME=/usr/hdp/2.6.4.0-91/spark2
export HADOOP_CONF_DIR=/usr/hdp/2.6.4.0-91/hadoop/c

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wangzhpwang

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell

03-17

2035

引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！

job kettle 执行多次_Spark基础：参数配置与推测执行

weixin_39552472的博客

12-20

289

往期链接：Spark基础：Spark SQL入门Spark基础：数据读写Spark基础：读写ParquetSpark基础：读写HiveSpark基础：读写JDBCSpark基础：Spark SQL优化Spark基础：分布式SQL查询引擎Spark基础：Hive特性兼容Spark基础：集群运行Spark基础：应用提交Spark基础：Spark on Yarn(上)Spark基础：Spark...

参与评论您还未登录，请先登录后发表或查看评论

在Kettle(PDI)跑Apache Spark作业

08-10

NULL 博文链接：https://qq85609655.iteye.com/blog/2205156

spark-submit

路漫漫其修远兮，吾将上下而求索

11-24

4560

spark-submitjava程序部署到集群在spark 目录下创建一个脚本 spark-submit.sh/opt/spark/bin/spark-submit \ --class $1 \ --num-executors 1 \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 2 \ /opt/jars/spark/sp

kettle连接sparksql

weixin_46108337的博客

07-26

1228

kettle连接sparksql

Kettle9 连接SparkSql

ciqingloveless的博客

08-12

1198

前言由于网上没有关于kettle连接sparksql的相关文章，而由于spark版本问题，造成spark中的hive依赖版本和hive的版本不同，这就造成了我连接了hive就没办法连接sparksql，所以编写以下文章帮助有同样问题的人 kettle连接sparksql 步骤很简单，将spark中的几个依赖包拷贝到data-integration\lib下即可，我下面列举几个需要的依赖包，其中有几个包在hive下spark下未找到 spark-hive-thriftserver_2.11-2.4.7.ja

spark作业因为hdp.version变量取不到异常处理

qq_41018382的博客

04-10

1596

作业描述： spark yarn cluster模式跑spark作业失败，launch_container.sh错误异常信息： spark 异常 spark_conf/hadoop_conf: bad substitution 19/09/11 08:34:42 ERROR SparkContext: Error initializing SparkContext. org.apache.spa...

Spark-submit

03-14

hdp spark

Pyspark学习笔记（二）--- spark部署及spark-submit命令简介

朝花&夕拾

03-17

2704

Pyspark学习笔记（二）--- spark-submit命令非交互式应用程序，通过spark-submit命令提交任务,官方讲解如下链接所示 http://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications, spark-submit脚本位于spark安装目录下的bin文件夹内，该命令利用可重用的模块形式编写脚本，以编程方式提交任务到Spark上去，并可以支持.......

HDP-GPL-2.6.4.0-centos7-rpm.tar.gz

09-04

标题 "HDP-GPL-2.6.4.0-centos7-rpm.tar.gz" 提供的信息表明，这是一个与HDP（Hortonworks Data Platform）相关的开源版本，具体为2.6.4.0版，面向CentOS 7操作系统的RPM（Red Hat Package Manager）格式的软件包。...

spark学习笔记（二）----运行模式、spark-submit

sunqingok的博客

05-21

2142

spark运行模式 1、application program组成 Job：包含多个Task 组成的并行计算，跟Spark action对应 Stage：Job 的调度单位，对应于TaskSet Taskset：一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集 Task：被送到某个executor 上的工作单元 2、运行流程（以standalone为例）程序提交，spark...

kettle

qq_39484734的博客

10-19

455

ambari cloudera manager(cdh) where col1 like 'abc%' rowfilter适用场景当从hbase中获取rowkey大于或者小于某个值的时候 rowkey中包含某个字符串的时候 where col1='3' and col2 >33 or col3 <123 ...

[spark] 从spark-submit开始解析整个任务调度流程

UFO的博客

11-01

2779

spark应用程序可以以Client模式和Cluster启动，区别在于Client模式下的Driver是在执行spark-submit命令节点上启动的，而Cluster模式下是Master随机选择的一台Worker通过DriverWrapper来启动Driver的。

Pentaho Work with Big Data（二）—— Kettle 提交 Spark 作业

wzy0623的专栏

04-08

1万+

Kettle 提交 Spark 作业

kettle通用插件

Auspicious航的博客

02-01

1433

目前已实现从rest接⼝读取数据到字段、通过sax⽅式解析excel到多个字段。"url":"",其中，method，请求类型：get/post headers，请求头，必须存在，可以为空对象：{}useSSL，对于有些环境，请求https会报PKIX认证的错误，设置该参数为true绕过认证params，post请求时传的参数，method为post的时候，参数params才有效。

WordCount代码实现及分析

ZZJXP的博客

05-12

354

SparkSQL操作Hive Table（enableHiveSupport()）