canal工具不能同步问题处理Broken pipe

原创已于 2022-03-31 17:40:42 修改 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#canal

于 2022-03-31 17:38:43 首次发布

canal 专栏收录该内容

3 篇文章

订阅专栏

这篇博客讲述了在使用Canal工具进行数据库同步时遇到的 Brokenpipe 异常问题，该异常导致工具每隔两天就需要手动重启。作者通过编写一个bash脚本来监控adapter.log文件，当检测到异常数量超过预设阈值时自动执行重启脚本，从而实现Canal工具的自动化异常恢复。这种方法提高了系统的稳定性和运维效率。

canal工具异常处理

ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - process error!
com.alibaba.otter.canal.protocol.exception.CanalClientException: java.io.IOException: Broken pipe

canal工具同步二天就会出现这个错误

网上查了很多都是要重启adapter,写了个重启脚本来解决这个问题

#! /bin/bash
#by yuanzelin8
#2022-03-26

#canal异常监听；
port=`cat /usr/local/canal/adapter/logs/adapter/adapter.log |grep -A10 "Broken pipe" -c`

#上述代码表示统计adapter.log后10行中Broken pipe的数量

#判断：如果$port>0，说明adapter有异常需要重启
if [ $port -gt 0 ]; then
    /usr/local/canal/adapter/bin/restart.sh
fi