Linux系统中的文件传输优化

视频格式之间相互转换用与手机平板 这一版本比较稳定,好用,也可以升级,可以转换成需要的各个视频源。 立即下载

目录

 

一.实验环境

二.scp 命令

1.在rhel7中建立实验素材

2.测试

三.rsync命令

四.scp与 rsync的比较

五. 文件的归档与压缩

1.文件归档

2.文件的压缩

3.tar+压缩


一.实验环境

需要2台主机并保证这两台主机是可以通信的,我们这里用的是red hat enterprise linux 7(以下简称rhel7)和 red hat enterprise linux 8(以下简称rhel8)两台虚拟机,其中对应的ip设置如下:

rhel7: 192.168.1.108

rhel8: 192.168.1.109

二.scp 命令

scp   本地文件    远程主机用户@远程主机ip:远程主机目录

scp   远程主机用户@远程主机ip:远程主机目录    本地文件

实验步骤:

1.在rhel7中建立实验素材

touch  westos

mkdir  westosdir

2.测试

设置免密登录

[root@rhel7_node1 Desktop]# ssh-keygen 
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
06:c2:36:fc:ac:57:02:97:9d:07:e2:53:aa:69:f4:0f root@rhel7_node1.westos.com
The key's randomart image is:
+--[ RSA 2048]----+
|      . o        |
|   o . * o       |
|    O B o .      |
|   o @ o .       |
|    + E S        |
|   . . *         |
|    . . .        |
|     .           |
|                 |
+-----------------+
[root@rhel7_node1 Desktop]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.1.109
The authenticity of host '192.168.1.109 (192.168.1.109)' can't be established.
ECDSA key fingerprint is 42:c1:1b:5b:ee:e6:4c:4f:02:6a:ca:1d:e6:9d:9f:92.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.1.109's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@192.168.1.109'"
and check to make sure that only the key(s) you wanted were added.

a)把本地文件复制到远程主机

注:-r表示复制目录   -q 表示传输文件时不显示进度

b)把远程文件复制到本地

scp  root@192.168.1.109:/mnt/westos_rhel8  /rooot/Desktop

三.rsync命令

rsync  文件     远程用户@远程主机ip:远程主机目录

rsync  远程用户@远程主机ip:远程主机目录   文件路径

rsync 

       -r   复制目录   

       -l   复制链接

       -p   复制权限

       -t   复制时间戳

       -o   复制拥有着

       -g   复制拥有组

       -D   复制设备文件

实验如下:

准备环境:

四.scp与 rsync的比较

制作脚本并执行后结果如下:

可见 scp三次执行时间几乎一致,rsync三次执行时间后两次远远小于第一次。

五. 文件的归档与压缩

1.文件归档

tar  

      c           创建

      f            指定文件名称

      x           解档

      t            向归档文件中添加文件

      --get      解档指定文件

     --delete   删除指定文件

    -C           指定解档路径

实验如下:

[root@rhel7_node1 Desktop]# tar tf etc.tar
etc/
etc/fstab
etc/crypttab
etc/mtab
etc/fonts/
etc/fonts/conf.d/
etc/fonts/conf.d/65-0-ttf-arphic-uming.conf
etc/fonts/conf.d/59-liberation-sans.conf
etc/fonts/conf.d/90-ttf-arphic-uming-embolden.conf
etc/fonts/conf.d/10-scale-bitmap-fonts.conf
etc/fonts/conf.d/65-0-madan.conf
etc/fonts/conf.d/20-unhint-small-vera.conf
etc/fonts/conf.d/65-0-lohit-kannada.conf
etc/fonts/conf.d/25-no-bitmap-fedora.conf
etc/fonts/conf.d/65-0-lohit-tamil.conf
etc/fonts/conf.d/25-unhint-nonlatin.conf
etc/fonts/conf.d/65-0-nhn-nanum-gothic.conf
etc/fonts/conf.d/30-metric-aliases.conf
etc/fonts/conf.d/30-urw-aliases.conf
etc/fonts/conf.d/40-nonlatin.conf
etc/fonts/conf.d/45-latin.conf

2.文件的压缩

zip 

zip   -r   etc.tar.zip   etc.tar                   zip格式压缩

unzip  etc.tar.zip                                  zip格式解压缩

 gzip 

gzip  etc.tar                                         gzip格式压缩

gunzip   etc.tar.gz                               gzip格式解压缩

bzip2

bzip2   etc.tar                                     bzip2格式压缩

bunzip   etc.tar.bz2                            bzip2格式解压缩

xz

xz   etc.tar                                         xz格式压缩

xz   etc.tar.xz                                    xz格式解压缩

3.tar+压缩

gzip   

tar     zcf   etc.tar.gz   /etc

tar     zxf   etc.tar.gz  

bzip2

tar   jcf   etc.tar.bz2  /etc

tar   jxf   etc.tar.bz2 

xz 

tar   jcf   etc.tar.xz  /etc

tar   jxf  etc.tar.xz 

xmen-taildir-source:在官方flume-taildir-source的基础上修改和优化,适用于以rsync、scp等同步日志导致同一文件inode会变化的场景 xmen-taildir-source 在官方flume-taildir-source的基础上修改和优化,适用于以rsync、scp等同步日志导致同一文件iNode会变化的场景 主要修改以下几点: 修改使用文件全路径替换inode作为TailFiles的key,避免同一文件inode变化导致数据重复收集 添加侦听目录路径通配符功能,支持在不重启Flume的情况下自动添加匹配的新目录 添加TailFiles的文件过期检查,当同步目录删除之前的日志文件时则标记该文件为过期文件,稍后自动检查从内存移除 立即下载

相关推荐

computer-graphics_geometry-dash:计算机图形学课程的最终项目

计算机图形学-几何破折号 使用Lazarus IDE开发的街机游戏Geometry Dash基本概念的自我解释。 用Pascal编写,并使用MPlayer外部插件处理与声音有关的输出。 玩家可以在平坦的地形上控制立方体,并随机生成尖峰,类似于Google Chrome的恐龙游戏。 此游戏中使用的所有资产都是由各自的存储库所有者独立创建和拥有的。 笔记: 创建此应用程序后, 仍为2.0.10版 有关MPLayer插件的更多信息, 创建者:

linux命令(三)

1.hostname指令 作用:操作服务器的主机名(读取、设置) 语法1:#hostname                        含义:表示输出完整的主机名 语法2:#hostname  -f                        含义:表示输出当前主机名中的FQDN(全限定域名) 2.id指令 作用:查看一个用户的一些基本信息(包含用户id,用户组id,附加组id...

mqingo的博客 387

Cadence Virtuoso里搞定斩波运放AC仿真:PSS+PAC保姆级设置避坑指南

然而,当工程师们尝试在Cadence Virtuoso环境中对这种特殊结构进行AC特性分析时,往往会遇到传统AC仿真方法失效的困境——这正是PSS(Periodic Steady-State)与PAC(Periodic AC)仿真组合大显身手的场景。实际项目中我们常采用"先快后精"的两步法:先用快速设置确认大体趋势,再针对关键频段进行精细仿真。例如某次设计迭代中,将harmonics从10增加到20后,发现在1MHz处的相位裕度估算误差达15°,这解释了之前样机测试时的振荡问题。

weixin_33508411的博客 449

修复 Fontconfig Error

系统环境: ubuntu12.04 问题: 当使用 xdg-open 打开 *.ps (postscript)文件时,报这个错误; 或者其他某些调用字体的地方也会出现这个错误 xdg-open *.ps 错误提示如下: Fontconfig error: "/usr/local/etc/fonts/conf.d/10-scale-bitmap-fonts.conf", l...

weixin_33726318的博客 3185

Comfy UI实战:如何用Checkpoint和Lora打造超写实人像(附完整工作流)

本文详细介绍了如何利用Comfy UI结合Checkpoint基础模型和Lora微调模型,打造超写实人像生成系统。从核心模型选择、工作流架构设计到提示词工程和参数优化,提供了一套完整的实战指南,帮助创作者提升AI绘画的专业水准和效率。

weixin_29032489的博客 460

C++网络编程 - Boost::asio异步网络编程 - 01- boost库源码编译安装

知识的学习在于点滴记录,坚持不懈;知识的学习要有深度和广度,不能只流于表面,坐井观天;知识要善于总结,不仅能够理解,更知道如何表达! 目录 如果需要录屏资料,请私信邮箱shitou3000@qq.com获取。 ...

大秦坑王的专栏 1万+

Ubuntu 22.04 设置系统字体平滑

如果有配置文件及内容的只需要粘贴框中的即可,如果没有就直接粘贴进去。

TamdingDojee的博客 688

从零构建高精度电子秤:HX711与STM32的时序通信陷阱与实战避坑指南

本文详细解析了使用STM32F103C8T6与HX711模块构建高精度电子秤的通信时序陷阱与实战解决方案。重点探讨了微秒级延迟实现、数据读取算法、校准方法和滤波优化,帮助开发者避开常见通信问题,提升电子秤的测量精度和稳定性。

data3的博客 782

Ubuntu8.04中字体设置的问题(最终版)

Linux /showfly 发表于2008-06-01, 18:31 今天一整天都在看/etc/fonts/conf.avail下的配置文件,并参考了其它的一些美化方案,终于得到在Ubuntu8.04版中的最终美化方案。一直以来我都喜欢AA显示字体,不喜欢Windows下的点阵,所以所有的美化方案都是基于此的,有同好的朋友可以参考一下。之前的几种美化方案多少都有不足

Wing's Blog 1736

如何用matlab扫频法测考虑频率耦合的并网逆变器的序阻抗,如何实现?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 1192

某物data魔改与变种算法还原(含加解密Py纯算)

某物data加解密、设备指纹魔改、变异、自定义加密分析与纯算还原

吴秋霖的博客 1278

rsync完全教程+百万级小文件实时同步

1)在node1 node2上实现双向无密码验证 [root@node1 ~]# ssh-keygen [root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub node2 [root@node2 ~]# ssh-keygen [root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub node1 2)node1 no

yinzhipeng123的博客 1万+

FortiOS 存在身份验证绕过导致命令执行漏洞(CVE-2024-55591)

FortiOS 是 Fortinet 公司开发的操作系统,作为 Fortinet 安全平台的核心,提供全面的网络安全功能。 它将网络和安全功能无缝集成,支持跨本地、云、混合和融合 IT/OT/IoT 基础设施环境的统一管理。 FortiOS 7.6 版本引入了生成式人工智能助手、数据保护、托管服务和单一代理等新功能,进一步增强了其安全性和性能。

缘梦未来的博客 1841

八、Linux系统中的文件传输优化

文章目录八、Linux系统中的文件传输优化实验环境8.1 文件传输8.1.1 scp8.1.2 rsync8.1.3 scp与rsync的比较8.2 文档归档-tar 八、Linux系统中的文件传输优化 实验环境 两台可以通信的主机 A IP:192.168.0.108 B IP:192.168.0.109 8.1 文件传输 8.1.1 scp 格式: scp   本地文件 ...

weoopp的博客 252

华为OD机考双机位A卷 - 开心消消乐(Java & Python& JS & C/C++ & GO )

华为OD机考双机位A卷 - 开心消消乐(OD上机考试双机位A卷)。提供在线OJ刷题。Java、C++、Python、GO语言、C语言、JavaScript题解,并提供完整思路讲解。

算法大师! 1267

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

学习Linux系统中的文件传输优化

Linux系统中的文件传输优化 1.1 实验环境 两个虚拟机,保证两虚拟机之间可以互相连接 rhel8:192.168.1.32 rhel7: 192.168.1.33 2.1 scp命令 scp本地文件 远程用户@远程主机ip:远程主机目录 scp -r 本地目录 远程用户@远程主机ip:远程主机目录 2.2 实验步骤 在rhel7虚拟机中 测试 ...

qq_46094902的博客 420

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

优化Linux系统中的文件传输

文章目录scp传输rsync传输scp和rsync传输的区别文件的归档(装箱)文件归档是什么如何进行文档文件的压缩与解压zipgzipbzip2xz scp传输 上传文件:(把本机文件发给远程主机) scp 自己主机哪个文件 远程主机用户名@远程主机ip:放在远程主机哪个位置 下载文件:(把远程主机文件拿回来给自己主机) scp 远程主机用户名@远程主机ip :远程主机哪个文件 自己主机...

weixin_45649763的博客 625

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: Linux 下的进程管理
下一篇: Linux系统中企业级日志管理及优化
FYRXP
博客等级 码龄7年 6粉丝 57原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值