spark脚本因为特殊符号报错

最新推荐文章于 2022-12-15 11:50:30 发布

原创最新推荐文章于 2022-12-15 11:50:30 发布 · 284 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

一段SQL在Hue中测试成功，但在Spark脚本里执行报错。经定位，问题出在存在中文全角空格，将其全部替换为空格后，脚本执行正常。

这段SQL在hue里面测试成功,但是在spark脚本里面执行报错,
最终定位的问题是出现了一个中文的全角空格,把全角空格全部替换成空格就没有问题了.
在这里插入图片描述

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201229104729405.png

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

之首木乔

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Spark报错】CDH的spark无法读取字段中含有特殊字符“-“的orc表mismatched input ‘-‘ expecting ‘:‘

善皮之的博客

05-28

5381

背景故事先看报错信息： mismatched input ‘-’ expecting ‘:’ 报错的意思就是说，在这个表里面，字段名中存在特殊符号“-”，无法解析报错。这个问题会发生在CDH的spark中。如果不是CDH的spark版本的程序，可以跳过此文章。解决方案：不要使用CDH版本的spark就好了。比如我这里出现报错的时候，使用的版本是2.4.0-cdh6.1.1 那么把这个版本修改为2.4.0就好了。过程分析过程早就分析完了，下面写一篇结果：环境版本 spark-sql_2.11

大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程、内存管理与分配、部署

黑泽君

05-02

1259

大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式

参与评论您还未登录，请先登录后发表或查看评论

sparksql特殊字符转义处理

放肆桀骜

11-13

5686

搬砖要换着法搬，往 spark.sql(s""" """) 里面传入$，正斜线，反斜线转义没毛用，聪明的人会看下图

正则表达式匹配带有特殊字符的字符串失败（特殊字符指： . ? + $ ^ [ ] ( ) { } | \ / ）

weixin_46611729的博客

12-18

3740

特殊字符有： . ? + $ ^ [ ] ( ) { } | \ / 匹配不成功的示例： const str = '(hehe)43' const reg = new RegExp(str,'gi') // reg : /(hehe)43/ 括号未做转义处理 console.log(reg.test(str)) // 结果是 false 匹配不成功的原因：str 中的字符串中的特殊字符没有做转义处理如果想匹配成功，就要先对str中的特殊字符做转义处理匹配成功的示例： const str = '(

spark split 一些特殊符号

weixin_34387284的博客

02-26

401

为什么80%的码农都做不了架构师？>>> ...

spark引擎执行sql报错：JsonParseException：Unexpected_character

科小勒的博客

07-10

1599

com.fasterxml.jackson.core.JsonParseException Unexpected_character("code

安装启动Spark并使用spark完成java程序及读写Mysql数据库

ANDEL2001的博客

12-09

4556

目录实践目标实践步骤一、安装CentOS二、安装Spark1.下载spark压缩包2. 新建spark专用文件夹3.解压spark包到指定路径/usr/spark下4. 移动spark-3.0.1-bin-hadoop3.2下所有文件5. 修改文件权限6. 验证是否安装成功7. 测试spark shell交互式命令界面8. 查看spark集群三、Spark独立应用程序编程1. 安装sbt2. 编写应用程序3. sbt打包程序4.通过spark-submit提交并运行程序四、Java独立程序1. 安装mave

spark内核解析和调优指南

m0_50323137的博客

04-12

725

Spark内存管理 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文中阐述的原理基于 Spark 2.X 版本。在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor

Spark结构化API—DataFrame，SQL和Dataset

书忆江南的IT博客

03-12

3105

一、结构化API概述 1. 结构化API是处理各种数据类型的工具，可处理非结构化的日志文件、半结构化的CSV文件以及高度结构化的Parquet文件。结构化API指以下三种核心分布式集合类型的API：Dataset类型、DataFrame类型、SQL表和视图。大多数结构化API均适用于批处理和流处理，这意味着使用结构化API编写代码时，几乎不用改动代码就可以从批处理程序转换为流处理程序（反之亦...

/export/servers/spark-3.5.5//bin/spark-class:行71: /export/servers/jdk1.8.0_241/bin/bin/java: 没有那个文件或目录 /export/servers/spark-3.5.5//bin/spark-class:行97: CMD: 坏的数组下标

最新发布

03-08

行71报错说Java文件不存在，这可能是因为Spark没有正确找到Java的安装路径。而行97的数组下标错误通常和参数处理有关，可能是参数数组越界或者变量未正确设置。首先看Java路径错误。Spark依赖于JAVA_HOME环境变量...

spark SQL 常见问题解决方法整理

idiotic_bird的博客

12-15

1013

不定期更新SQL处理中遇到的常见问题

全角/半角转换(收藏)

weixin_34232744的博客

05-24

254

if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[f_convert]') and xtype in (N'FN', N'IF', N'TF')) drop function [dbo].[f_convert] GO ...

常用的Spark脚本

stSahana的博客

03-23

1050

日常用到的spark脚本，便于日常粘贴写ES val options = Map( "es.index.auto.create" -> "true", "es.nodes.wan.only" -> "true", "es.nodes" -> "192.168.3.1:9200", "es.port" -> "9200", "es.mapping.id" -> "id") import org.apache.spark.sql.SaveMode .withColumn("i.

sql 判断相等_过滤数据《SQL必知必会》

weixin_39593469的博客

12-09

2331

为何需要过滤数据？select关键字查询数据，可以指定所需要查询的列（*表示查询所有列），但查询结果将会包括所有的行。在数据库中，一张数据表（table）可能会包含数百万行之多，这之中有很多数据往往我们并不需要，因此需要对数据添加条件筛选。SQL如何实现过滤？在 SELECT 语句中，数据根据 WHERE 子句中指定的搜索条件进行过滤。 WHERE 子句在表名(FROM 子句)之后给出。例：查询P...

【数据库SQL】将全角转换成半角

【YoTi】女程序员的历史

01-03

6413

以下语句为将全角转换成半角, 执行前请备份。 ------------------------------------------------------------------------------ if object_id(N'u_convert',N'FN') is not null drop function u_convert GO create f

Spark实战（一）：spark读取本地文件输出到Elasticsearch

桃花惜春风

09-19

4611

对于spark的典型应用场景为批处理，一般由基本数据源（文件系统如：hdfs）或者高级数据源（flume、kafka）作为spark的数据接入端。输出一样可以是文件系统或数据库等等。本文介绍一个用java写的demo程序，功能是从本地接收数据，经过spark处理之后输出到Elasticsearch。先上代码： maven &amp;lt;dependency&amp;gt; &amp;lt;groupId...

数据清洗小记（2）：全角数字转换半角数字

weixin_33742618的博客

05-31

360

原创作品。出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明出处，否则有权追究版权法律责任。深蓝的blog：http://blog.youkuaiyun.com/huangyanlong/article/details/46340383 【背景】在将某数字类型字段插入到目标端时，报错。提示类型不对，查看数据发现确实为number，但发现为“全角”数字。【解决】利用函数，将“全角”转换成“半角”，...

pyspark及Spark报错问题汇总及某些函数用法。