weixin_43370502的博客

1、首先创建一个workflow工作流，拖取HiveServer2 和Sub-workflow 控件HiveServer2控件针对Hsql脚本，Sub-workflow复用Shell sqoop同步脚本如图：2、shell sqoop同步脚本参考1，拖取shell 脚本控件，如图这里涉及到参数传递以及环境设置特别是FILE那块的设置3、shell脚本如下：#!/bin/bash...

最近BI反馈数据有问题，排查了下发现是业务的BUG导致的，重新调整了代码，在重新跑数据的时候，需要把业务上的测试数据过滤掉，然后在where条件后加了个过滤条件，而过滤条件是中文，在执行语句的时候，sql也不报错，但是测试数据还在，在后台手工跑数据是能过滤掉的，排查了下原因出在平台上，平台的字符不是默认UTF8，在把sql提交到yarn执行时中文变成了乱码不识别，自然过滤条件不就生效了，需要指定参...