impala-shell调用SQL脚本执行报编码错误

最新推荐文章于 2022-07-06 11:23:48 发布
原创 最新推荐文章于 2022-07-06 11:23:48 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请注明出处http://blog.youkuaiyun.com/wsdc0521
文章标签：

#impala-shell #impala #ascii #python #编码

本文介绍了解决Impala-shell调用SQL脚本执行时出现的编码错误问题，通过修改impala_shell.py文件，加入指定UTF-8编码格式的代码，成功解决了因默认ASCII编码导致的字符编码范围超出的问题。

impala-shell 调用SQL脚本执行报错：

Exception : 'ascii' codec can't encode characters in position 559-562: ordinal not in range(128)

出现这种问题是因为IMPALA的impala-shell调用的是impala_shell.py文件是个python2.7脚本，需要加上下面的代码指定一下编码格式：

/opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py

import sys
import time

reload(sys)
sys.setdefaultencoding('utf-8')

 

回刷数据_shell脚本调用sql脚本报错隐秘处理方案_同步数仓数据到Hologres的较优方案
AnlaGodness的博客
04-16 712
1、回刷每日23：30的数据，日期为 datetime_begin 到一个月前的数据 run_history_data(){ datetime_begin="2021-04-13" statdate_end_ymd=`date -d "-1 months ${datetime_begin}" +"%Y%m%d"` datetime_end_ymd=`date -d "-1 months ${datetime_begin}" +"%Y-%m-%d"`
impala-shell 报警‘ascii‘ codec can‘t decode byte 0xe7 in position 35: ordinal not in range
summer089089的博客
06-06 394
执行 报警 2.问题原因 根据报错怀疑是将dwd_t_std_crumb_event_process.sql 脚本中有中文导致的，将脚本中的中文注释去掉以后可以正常运行，但是看其他脚本也有正常的注释。确定跟注释有关经测试，主要原因是因为dwd_t_std_crumb_event_process.sql 前面第一行就有了注释导致的，运行sql的前面不能有注释。...
Impala 2、Impala Shell 和 Impala SQL
03-23 579
1、Impala 外部 Shell 　　Impala外部Shell 就是不进入Impala内部，直接执行的ImpalaShell 例如通过外部Shell查看Impala帮助可以使用： $ impala-shell -h 这样就可以查看了； 　　再例如显示一个SQL语句的执行计划： $ impala-shell -p select count(*) from t_stu 　　下面是I...
关于shell中的pl/sql脚本错误排查与分析
congbao6525的博客
01-20 405
今天有个同事问我一个问题，他说运行shell脚本的时候抛出了ORA 错误，但是对于错误的原因没有思路，想让我帮他看看。 我查看了下，脚本的结构比较清晰。 脚本是有一个shell脚本，一个sql文件组成，shell脚本作为基本...
shell引入sql脚本报错_Oracle11g rac集群安装执行脚本报错的解决方法
weixin_39704314的博客
01-12 479
安装场景在安装oracle11g RAC过程中，执行“/u01/app/11.2.0/grid/root.sh”时就报以下错误：在最后运行root.sh脚本时候，没有执行成功，最后提示如下错误: CRS-4000: Command Add failed, or completed with errors.Failed to register Grid Infrastructure type ora...
shell脚本调度impala脚本总结
bigdataprimary的博客
09-28 7711
背景：由于公司使用oozie调度工作流但是其不支持impala只能转shell间接调度 首先说下impala的交互方式： 使用客户端直接进入impala然后进行sql操作，配好环境后impala-shll即可 使用hue impala-shell -q ‘select。。。’ -i localhost(地址) 若sql比较多可以写成文件后缀名无所谓impala-shell -f file...
shell脚本中调用impala-shell获取查询表的count的数据量的示例代码
最新发布
10-26
在Shell脚本中，如果你想要通过Impala Shell连接到Hive元数据存储，并获取某个表的记录数（COUNT(*)），你可以使用`impala-shell`命令结合SQL查询。这里是一个基本的示例： ```bash #!/bin/bash # 设置Impala的...
shell中调用impala-shell查询表然后输出到文件中的示例代码
10-11
在Shell脚本中，你可以使用Impala Shell命令行工具来执行Impala SQL查询并将结果直接输出到文件。下面是一个简单的示例： ```bash #!/bin/bash # 首先，需要设置IMPALA_HOME环境变量指向Impala安装目录 export ...
shell中调用impala-shell查询表然后以逗号分隔输出到文件中的示例代码
10-11
在Shell脚本中，你可以使用Impala Shell连接到Impala集群，并通过其内置的命令行工具来运行SQL查询并将结果输出到文件。以下是一个简单的示例，假设你已经设置好了环境变量`IMPALA_HOME`指向Impala安装目录： ```...
impala脚本经验
liuxingfeiyuesy的博客
01-28 588
impala资料 impala可以不启动，就直接执行 例如 impala-shell -q “select * from ** where task_status = ‘0’”; 脚本格式： #!/bin/bash sql1=“select * from ** where task_status = ‘0’” impala-shell -q “${sql1}” -B -o “test.txt” 以上代码可以跑通，以后具体情况需要根据业务做调整 ...
Python读取中文文件：解决: 'ascii' codec can't decode byte 0xe6 in position 2: ordinal not in range(128)
莯滢
04-17 5826
利用iO的open函数读取中文文件，在read或readline这一步直接会报’ascii’ codec can’t decode byte 0xe6 in position 2: ordinal not in range(128)错误，但系统的open其encoding字段不可更改, <_io.TextIOWrapper name='/Users/apple/Desktop/GitHubP...
impala-shell Unknown Exception : 'ascii' codec can't encode character
chiqian0129的博客
04-09 1072
impala-shell导出数据时，如果导出字段中包含utf-8（如中文）字段时，会报以下异常： Unknown Exception : 'ascii' codec can't encode character u'\u5bb6' in position 259: ordinal not i...
UnicodeEncodeError ,‘ascii‘ codec can‘t encode characters in position 27-28
skyskyhaha的博客
05-06 986
Django项目出现了这个报错,UnicodeEncodeError 。 出现这种错误从两个方面进行排查： 1.先检查Django项目虚拟环境中的python是否支持中文。 为了验证，我进入项目的虚拟环境，运行测试代码，发现此时你执行str="中文"都会报错，如下： 解决方案是： 更改Linux系统的语言编码： 以上只是使用xshell连接虚拟机进行测试的截图。执行： export LC_ALL=“en_US.utf8” 然后执行locale命令，查看语言编码格式，会发现LC_ALL已经改变。此时你在虚
python 编码问题：‘ascii‘ codec can‘t encode characters in position 的解决方案
wangchaoqi1985的博客
09-14 711
python 编码问题：'ascii' codec can't encode characters in position 的解决方案
CDH 下 impala-shell 的使用 （输出csv， 中文ascii错误）
rav009的专栏
10-23 1355
使用impala-shell 导出csv数据的命令行： impala-shell -i impalad.server -k --output_delimiter="," -B -f query.file -o output.csv 中文乱码问题： UnicodeEncodeError:'ascii'codeccan'tencodecharactersinposition...
python exe执行包含中文sql时报错 'ascii' codec can't encode character
qq_30599553的博客
12-03 2212
一般报这个错，特别是在eclipse中运行python时报的，一般也只需在py文件开头添加  # coding=utf-8 即可。   但本人遇到的问题并不是这个导致的。在自己电脑上不管是eclipse中运行还是打包成exe执行都正常，可以执行包含中文的sql，但是到了别人的电脑上执行发现不行。最后排查出来，在于配置Oracle客户端instantclient_11_2时，配置环境变量少配...
记录impala中文会乱码的情况。
qq_42389487的博客
07-06 1971
impala 视图中文乱码
七十三、Impala的常用操作
象在舞的技术专栏
05-17 5295
上一篇文章我们简单介绍了一下Impala以及如何安装部署Impala，本文我们从Impala的数据类型、DDL、DML、函数等方面来看一下Impala是如何操作的。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 一、Impala的数据类型 Impala与Hive的数据类型对比如下所示： Hive数据类型 Impala数据类型 长度 TINYINT TINYINT 1byte有符号
impala理论篇之四：Impala支持的文件格式
Allenzyg的博客
06-03 3195
Impala支持的文件格式 Impala 支持几种熟悉的 Apache Hadoop 中使用的文件格式。Impala 可以加载或查询其他 Hadoop 组件如 Pig 或 MapReduce 产生的数据文件，并且 Impala 产生的数据文件也可以被其他组件使用。 Impala 表使用的文件格式具有重要的性能意义。一些文件格式包括压缩支持，会影响到硬盘上数据的大小，因此，也影响反序列化数据时所需的 I/O 和 CPU 资源的数量。因为查询通常以移动和解压缩数据开始，所需的 I/O 和 CPU 资源是查询
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值