大数据~直接通过sqoop命令在窗口中执行，完全没有问题，可以运行，但是将其放在shell脚本后，执行报错

已于 2022-04-20 15:46:40 修改
阅读量841 收藏 1
点赞数
分类专栏： Water 文章标签： 大数据 spark 数据仓库
于 2021-11-23 11:17:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/feizuiku0116/article/details/121489221
版权

可能的原因

由于这个shell文件是windows中创建的，windows中对空格的处理和linux中对空格处理方案不一致，然后再windows编写shell在linux运行，识别为shell语法有问题

解决方法

  • 安装一个工具在node1:

    yum install -y dos2unix

作用

基于这个包完后才能够对shell中doc编写格式进行处理，将其转换为linux的unix格式方案

后续执行shell脚本之前

  • 先执行

    dos2unix shell脚本

  • 然后执行

    sh shell脚本

linux服务器上，crontab脚本执行报错，但是手动单独执行命令可以成功
liyyty的博客
05-16 1422
linux服务器上，crontab脚本执行报错，但是手动单独执行命令可以成功 脚本如下：35 11 * * * sh /usr/metar/apps/adapter/huawei/hw_yccity_u2000/collectAdapter/start_PERF.sh >>/usr/metar/apps/adapter/huawei/hw_yccity_u2000/collectAd...
大数据八股文（自用）
m0_64735594的博客
07-25 1573
实现的逻辑是继承GenericUDF，重写evaluate方法，getdisplay方法。打包上传到hdfs路径上或者hive的lib目录 注册自定义的函数UDTF炸裂 一行多输出 TUDAF聚合多行输出一行Aggregate前台是和用户直接交互的界面和各种实时响应用户请求的业务逻辑。后台是并不直接面向用户的配置管理系统。中台就是各个项目业务中 重复的轮子，比如交易、支付。
命令行执行可以，脚本无效的解决办法
wyee000的博客
07-15 3850
今天在CDH上模拟数据的时候发现，使用通过命令行的方式调用java代码模拟数据可以成功运行，但是放到脚本中就失效。 我是这么解决的： 原来的脚本： #! /bin/bash for i in hadoop102 hadoop103 do ssh $i java -classpath /opt/module/log-collector-1.0-SNAPSHOT-jar-with-...
mysql备份和shell脚本手动执行没问题，crontab定时执行失败
小炮手
06-10 977
mysql备份和shell脚本手动执行没问题，crontab定时执行失败
Crontab执行shell脚本sqoop问题
折戟沉沙嗜血柔情
01-25 797
Crontab定时器执行shell脚本结束后发现sqoop语句执行失败，手动执行shell脚本sqoop语句执行正常。 于是 tail -f /var/spool/mail/root 查看sqoop日志发现错误。 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/cloudera/parcels/CDH/lib/hadoop-map...
linux下查看用户及用户组的方法
weixin_34401479的博客
07-17 325
linux下查看用户及用户组的方法 　whois 功能说明：查找并显示用户信息。 语　　法：whois [帐号名称] 补充说明：whois指令会去查找并显示指定帐号的用户相关信息，因为它是到Network Solutions 的WHOIS数据库去查找，所以该帐号名称必须在上面注册方能寻获，且名称没有大小...
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4905
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
大数据开发面试
最新发布
weixin_51698042的博客
10-28 514
大数据开发常用框架面试总结
linux jdk，hadoop，zookeeper, hive , zeppelin ,sqoop ,hbase,scala,spark，flume,kafka 安装终极脚本全家桶安装
一个学习的博客
11-26 1588
shellz只需要在opt准备两个文件夹，一个install存放压缩包，soft存放解压后的文件就行 接着就开始运行脚本，脚本随便创建一个文件吧脚本拷贝进去，赋权运行就行 里面所有的ip地址改为自己的就行。虚拟机你的hostname一定要设置好，不然脚本里面所有的$hostname，你都要改为你的ip地址就行 #!/bin/bash jdk=true hadoop=true zk=true hive=true zp=true sqoop=true hbase=true ..
mysql编辑器_0498-Hue Sqoop1的编辑器中执行Sqoop作业失败问题分析
weixin_39746241的博客
12-05 100
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1文档编写目的Hue做为Hadoop平台的一款UI工具，提供了丰富的功能。可以通过Hue访问Hadoop的文件系统、Hive、Impala、HBase、Solr、Sqoop等。...
使用shell脚本执行hive、sqoop命令的方法
09-15
今天小编就为大家分享一篇使用shell脚本执行hive、sqoop命令的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
同样的命令在终端执行OK，但是在shell脚本执行失败的原因
qickcao的博客
09-08 1491
你刚用yum或者apt命令安装了一个程序, 在终端执行完全OK，但是当你把他放在shell脚本中时候，执行这个shell脚本却报错了，提示找不到这个命令,hahaha，对于新手来说真的会谢！在shell脚本首行写入 echo $PATH 用来打印shell环境变量。你可以在终端中输入 echo $PATH 命令来查看环境变量。2、手动修改环境变量，把运行命令所需要的环境变量添加上去。此环境变量和shell脚本中的变量不同，看到没，这里打印的环境变量不同，造成这个问题的原因是：环境变量。
Hue中使用oozie调用shell启动sqoop报错
love_lixr的博客
12-01 1494
2020-12-01 14:23:01,841 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] [***0000000-201201
shell命令 在命令行中可行，但在sh文件中失效的解决办法
luckoovy的博客
08-06 2128
大概率是因为文件编码格式问题 可以尝试对sh文件的编码格式进行修改。 在vim中查看文件编码格式： :set fileencoding 在vim中直接修改文件编码格式： :set fileencoding=gbk 或者在命令行修改文件编码格式： iconv -c -f utf8 -t gbk file1 > file2 #或者 iconv -f UTF-8 -t GBK...
执行shell脚本报错，但控制台执行正常
Jepson的博客
10-11 5315
问题：最近编写shell脚本，遇到直接执行shell脚本怎么也不成功，但是在控制台输入命令就能执行成功，报错如下图所示： 脚本内容如下： 脚本实现功能很简单，且语法也没问题，但是运行脚本就报错，经过艰苦排查，发现问题在于 filebeat_kill.sh 是我在windows下编辑然后上传到linux系统里执行的。.sh文件的格式为dos格式。而linux只能执行格式为unix格式的脚本。 我...
ERROR tool.BaseSqoopTool
weixin_45559097的博客
05-11 3230
21/05/11 09:56:59 ERROR tool.BaseSqoopTool: Error parsing arguments for import: 21/05/11 09:56:59 ERROR tool.BaseSqoopTool: Unrecognized argument: 问题：在linux命令行运行sqoop命令不报错，在linux运行sqoop的shell脚本则报该错； 原因：脚本是用notepad++在windows下写的,windows的换行符和linux的换行符格式不一致.
linux下执行shell脚本报错解决方法（内容没问题，但就是提示内容错误）
goxingman的博客
03-22 1571
linux下执行报错，大概率是文本在win下编辑复制过去的，由于存在linux不支持的换行符等，导致脚本无法执行，可以用下面方式测试。
用sh命令执行shell脚本报错
s_alted的博客
09-03 3427
排查
使用java执行shell脚本踩的坑，共勉
GDFHGFHGFH的博客
02-27 1750
背景 手上的项目属于数据库运维方面的项目，本人是属于java组，数据库DBA组，给了脚本，让执行 遇到的问题 问题1：不知道怎么写 以前没有在程序中执行过脚本，所以就到网上搜了搜，大部分给出的答案，基本都是以下两个答案 第一种，如下面这样的方法 Process p=Runtime.getRuntime().exec("命令") p.waitFor(); 第二种 ProcessBuilder builder = new ProcessBuilder("命令"); Process process = bui
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值