archery适配tidb

本文介绍了在使用Archery工单系统集成TiDB时遇到的备份问题,由于TiDB的binlog与MySQL不兼容导致工单无法提交。为了解决这个问题,采取了临时关闭备份功能的方案,具体做法是修改Archery的源代码,针对TiDB实例关闭备份。虽然这解决了当前问题,但缺乏备份可能会带来安全隐患。后续计划研究如何处理TiDB的binlog以实现安全备份。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、背景

因为有些业务需要使用tidb,所以想对tidb接入工单系统,工单系统使用的是archery

二、问题

在提交工单的时候发现了工单提交不了,因为提交工单的时候有个备份,而goinception的备份过程如下

  1. 配置备份数据库,并在执行SQl时开启备份功能
  2. 在执行SQL前记录binlog位置和线程号(逐条执行逐条记录)
  3. 执行SQL
  4. 在执行SQL后记录binlog位置和线程号
  5. 开始备份,解析远程服务器binlog(问题出现的地方)
  6. 在备份服务器创建备份库
  7. 创建备份信息表,写入执行信息和binlog位置信息
  8. 创建备份表
  9. 逐步解析binlog,并生成回滚语句,写入备份表

因为tidb的binlog和mysql不兼容,所以这块就造成了工单执行的问题

三、问题解决

因为目前还没有深入研究inception代码,所以打算采用暂时关闭备份的方式来解决

1.编辑文件sql/sql_workflow.py

def submit(request):
    """正式提交SQL, 此处生成工单"""
    sql_content = request.POST.get('sql_content').strip()
    workflow_title = request.POST.get('workflow_name')
    demand_url = request.POST.get('demand_url', '')
    # 检查用户是否有权限涉及到资源组等, 比较复杂, 可以把检查权限改成一个独立的方法
    group_name = request.POST.get('group_name')
    group_id = ResourceGroup.objects.get(group_name=group_name).group_id
    instance_name = request.POST.get('instance_name')
    instance = Instance.objects.get(instance_name=instance_name)
    db_name = request.POST.get('db_name')
    is_backup = True if request.POST.get('is_backup') == 'True' else False
    cc_users = request.POST.getlist('cc_users')
    run_date_start = request.POST.get('run_date_start')
    run_date_end = request.POST.get('run_date_end')

    # 服务器端参数验证
    if None in [sql_content, db_name, instance_name, db_name, is_backup, demand_url]:
        context = {'errMsg': '页面提交参数可能为空'}
        return render(request, 'error.html', context)

    # 验证组权限(用户是否在该组、该组是否有指定实例)
    try:
        user_instances(request.user, tag_codes=['can_write']).get(instance_name=instance_name)
    except instance.DoesNotExist:
        context = {'errMsg': '你所在组未关联该实例!'}
        return render(request, 'error.html', context)

    # 再次交给engine进行检测,防止绕过
    try:
        check_engine = get_engine(instance=instance)
        check_result = check_engine.execute_check(db_name=db_name, sql=sql_content.strip())
    except Exception as e:
        context = {'errMsg': str(e)}
        return render(request, 'error.html', context)

    # 未开启备份选项,并且engine支持备份,强制设置备份,这是终点,因为即使不备份也会强制备份,所以需要改下这块的代码
    sys_config = SysConfig()
    #需要改动这里:
    if not sys_config.get('enable_backup_switch') and check_engine.auto_backup:
        # 如果是tidb的实例则不备份
        if group_name in ["abc","def"]:
            is_backup = False
        else:
            is_backup = True

2.重启archery

这样便可以解决问题,但是不备份终究是不安全,之后想想看看能不能对二进制这块处理

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值