运维DBA跨网传输大文件就如同上茅厕下厨房一般无二
好的方法并非显而易见,且方法的优劣差异可能非常显著
常言道:蔬菜最后一公里价格翻一翻,即便不听常言
我们用迅雷下载常常驻足在99.9%,亦可窥见文件校验的昂贵
整个传输需要综合考量的因素颇多,这里我仅拿是否压缩来写
压缩无须做文件校验,且节省网络带宽,提高传输速度
相关资源如:CPU、内存、IO,最好用vmstat -n 5看IO或者CPU是否为瓶颈
切莫教条主义导致和数据库服务器争抢资源拖垮DB Server
因为压缩必然要增加CPU开销!
以下介绍4种方法
㈠ rsync
利用rsync的二进制差异算法,只在网间同步变化的数据,这是rsync优势所在。
好的方法并非显而易见,且方法的优劣差异可能非常显著
常言道:蔬菜最后一公里价格翻一翻,即便不听常言
我们用迅雷下载常常驻足在99.9%,亦可窥见文件校验的昂贵
整个传输需要综合考量的因素颇多,这里我仅拿是否压缩来写
压缩无须做文件校验,且节省网络带宽,提高传输速度
相关资源如:CPU、内存、IO,最好用vmstat -n 5看IO或者CPU是否为瓶颈
切莫教条主义导致和数据库服务器争抢资源拖垮DB Server
因为压缩必然要增加CPU开销!
以下介绍4种方法
㈠ rsync
利用rsync的二进制差异算法,只在网间同步变化的数据,这是rsync优势所在。
在知道文件中大部分的内容都不需要传输的场景下,可以优先考虑使用rsync。
[mysql@even ~]$ rsync -av /backup/ -e ssh root@192.168.1.11