EsgynDB Troubleshooting - python脚本执行备份导出卡住的问题

最新推荐文章于 2022-09-30 13:40:36 发布

原创最新推荐文章于 2022-09-30 13:40:36 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #hadoop #hdfs

QianBase/EsgynDB/Trafodion 同时被 2 个专栏收录

263 篇文章

订阅专栏

QianBase/EsgynDB诊断

65 篇文章

订阅专栏

本文介绍了解决EsgynDB数据库备份脚本在长时间运行环境中出现的阻塞问题。通过分析发现，阻塞发生在subprocess.Popen的执行过程中。采用自定义流替代默认PIPE的方式解决了这一问题。

EsgynDB数据库中使用DBManager可视化工具通过调用python脚本的方式来执行备份导出的任务。
在数据库节点的cds目录下有相关备份恢复的执行脚本如edb_br_action.py。

此脚本正常情况下均运行正常，但在个别运行很久的环境中，我们偶尔发现脚本会有执行卡住的问题。通过在脚本中关键位置中增加日志，我们定位到脚本卡在了以下语句：

p = subprocess.Popen(sqlci_cmd, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, executable='/bin/bash')
stdout, stderr = p.communicate()

通过网上搜索相关文章，我们找到了避免python Popen阻塞

文中表示，python中subprocess的PIPE是有大小的。在python2.6.11之前，PIPE的大小为文件页的大小（i386上是4096），2.6.11之后变为65536.因此当输出内容超过65536，会引起阻塞。因为PIPE已经被塞满了，无法再塞进更多的数据。
解决方法是不用subprocess提供的PIPE，而是使用自己创建的流。如此，可以控制流的大小。

根据文章中的描述，我们把EsgynDB中调用备份导出任务的脚本edb_br_action.py中关键路径也进行了修改，修改如下：

out_temp = tempfile.SpooledTemporaryFile(bufsize=10*1000)
fileno = out_temp.fileno()
p = subprocess.Popen(sqlci_cmd, stdin=fileno, stdout=fileno, stderr=fileno, shell=True, executable='/bin/bash')
stdout, stderr = p.communicate()
out_temp.seek(0)
lines = ''.join(out_temp.readlines())
if out_temp:
     out_temp.close()