spark提交任务,参数的形式是JSON

最新推荐文章于 2025-01-17 18:36:59 发布

pan_haufei

最新推荐文章于 2025-01-17 18:36:59 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/pan_haufei/article/details/78211918

spark 专栏收录该内容

9 篇文章

订阅专栏

在使用spark2-submit提交任务时，如果参数形式为JSON，可能会遇到参数被错误解析的问题。解决方法是在JSON字符串外添加双引号，并对内部双引号进行转义。例如：""{""tablename"":""dhzp"

spark提交任务,参数的形式是JSON

比如：spark2-submit --class com.iflytek.test.Jcseg_HiveDemo spark_hive.jar {"tablename":"dhzp","fields":["text1","text2"]} {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

第一个参数：{"tablename":"dhzp","fields":["text1","text2"]}

第二个参数：{"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

结果后台实际接收的参数是这样的：

tablename:dhzp
fields:[text1
text2]
tablename:dhzp111
fields:[text1_jcseg
text2_jcseg]

没有把我的参数JSON参数当作一个整体，而是当作逗号或者空格分割了。这个问题该怎么解决呢？一般来说分俩步：

1.有双引号将整体包裹起来

2.包裹的双引号里面的内容需要加\转义

如下：

spark2-submit --class com.iflytek.test.Jcseg_HiveDemo spark_hive.jar "{\"tablename\":\"dhzp\",\"fields\":[\"text1\",\"text2\"]}" "{\"tablename\":\"dhzp111\",\"fields\":[\"text1_jcseg\",\"text2_jcseg\"]}"

后台接收的参数如下：

{"tablename":"dhzp","fields":["text1","text2"]}
{"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}