weixin_46613998的博客

Shell中引用HIVE查询结果作为变量 背景 在开发中需要实现一个功能，动态获取HIVE中表A的数据，以表A中的数据作为创建MySQL表的字段。 实现思路 HQL拼接两列，一列用自定义字段作为标志，一列为需求的字段 将hive查询结果以csv方式输出 使用grep -w 字符串精确匹配自定义的标志字段 使用awk -F 指定分隔符 及需要提取的字段 #！bin/bash dataStr= `beeline -outputformat=csv2 -e "select '查询结果' result , s

Shell -死循环执行 背景 ​ 接到的一个需求，把HIVE表计算后的数据写往ES集群。计算后的数据落地在一个新的表中，每日推至ES当中。HIVE数据每日大概500MB。由于数据量比较大，所以使用SPARK开发应用对接HIVE和ES中的数据。在上线几日后，执行SPARK开发的jar包总有报错。查看日志显示内存溢出异常，于是调整执行spark程序的shell语句，将Driver内存、Executor个数、Executor核数、Executor内存都做了调整（机器资源充沛扩大到Executor 10G，Dr