等待hive上游数据公用函数

最新推荐文章于 2024-04-06 22:20:19 发布

原创最新推荐文章于 2024-04-06 22:20:19 发布 · 372 阅读

0 ·

CC 4.0 BY-SA版权

Hive 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一个用于Hive数据库的Shell脚本，该脚本能够检查指定数据库中特定表的分区状态，并在分区未准备好时进行轮询等待直至可用。此脚本适用于大数据环境中需要确保数据分区就绪的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

function wait_table()
{
  database=$1
  table_name=$2 
  table_partition=$3
  if [ $# -ge 4 ]
  then
    ((minute=$4*2))
  else
    
    minute=600
  fi
  set +e
  for ((i=0;i<=$minute;i=i+1))
  do
    cnt=`hive -e "use $database;show partitions $table_name" | grep $table_partition |wc -l`
    t=`date +"%F %T"`
#if [ "$cnt" = '1' ];
    if [ $cnt -ge 1 ];
    then
      echo "$t Found partition $table_partition of table ${database}.$table_name ."
      set -e
      return 0
    fi
    if [ $minute -eq 0 ]
    then
      break
    fi
    echo "$t Waiting partition $table_partition of table ${database}.$table_name to be ready ..."
    sleep 30 
  done
  set -e
  echo "$t No partition $table_partition of table ${database}.$table_name found."
  return 1

}