Linux系统中的文件传输优化

视频格式之间相互转换用与手机平板 这一版本比较稳定,好用,也可以升级,可以转换成需要的各个视频源。 立即下载

目录

 

一.实验环境

二.scp 命令

1.在rhel7中建立实验素材

2.测试

三.rsync命令

四.scp与 rsync的比较

五. 文件的归档与压缩

1.文件归档

2.文件的压缩

3.tar+压缩


一.实验环境

需要2台主机并保证这两台主机是可以通信的,我们这里用的是red hat enterprise linux 7(以下简称rhel7)和 red hat enterprise linux 8(以下简称rhel8)两台虚拟机,其中对应的ip设置如下:

rhel7: 192.168.1.108

rhel8: 192.168.1.109

二.scp 命令

scp   本地文件    远程主机用户@远程主机ip:远程主机目录

scp   远程主机用户@远程主机ip:远程主机目录    本地文件

实验步骤:

1.在rhel7中建立实验素材

touch  westos

mkdir  westosdir

2.测试

设置免密登录

[root@rhel7_node1 Desktop]# ssh-keygen 
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
06:c2:36:fc:ac:57:02:97:9d:07:e2:53:aa:69:f4:0f root@rhel7_node1.westos.com
The key's randomart image is:
+--[ RSA 2048]----+
|      . o        |
|   o . * o       |
|    O B o .      |
|   o @ o .       |
|    + E S        |
|   . . *         |
|    . . .        |
|     .           |
|                 |
+-----------------+
[root@rhel7_node1 Desktop]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.1.109
The authenticity of host '192.168.1.109 (192.168.1.109)' can't be established.
ECDSA key fingerprint is 42:c1:1b:5b:ee:e6:4c:4f:02:6a:ca:1d:e6:9d:9f:92.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.1.109's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@192.168.1.109'"
and check to make sure that only the key(s) you wanted were added.

a)把本地文件复制到远程主机

注:-r表示复制目录   -q 表示传输文件时不显示进度

b)把远程文件复制到本地

scp  root@192.168.1.109:/mnt/westos_rhel8  /rooot/Desktop

三.rsync命令

rsync  文件     远程用户@远程主机ip:远程主机目录

rsync  远程用户@远程主机ip:远程主机目录   文件路径

rsync 

       -r   复制目录   

       -l   复制链接

       -p   复制权限

       -t   复制时间戳

       -o   复制拥有着

       -g   复制拥有组

       -D   复制设备文件

实验如下:

准备环境:

四.scp与 rsync的比较

制作脚本并执行后结果如下:

可见 scp三次执行时间几乎一致,rsync三次执行时间后两次远远小于第一次。

五. 文件的归档与压缩

1.文件归档

tar  

      c           创建

      f            指定文件名称

      x           解档

      t            向归档文件中添加文件

      --get      解档指定文件

     --delete   删除指定文件

    -C           指定解档路径

实验如下:

[root@rhel7_node1 Desktop]# tar tf etc.tar
etc/
etc/fstab
etc/crypttab
etc/mtab
etc/fonts/
etc/fonts/conf.d/
etc/fonts/conf.d/65-0-ttf-arphic-uming.conf
etc/fonts/conf.d/59-liberation-sans.conf
etc/fonts/conf.d/90-ttf-arphic-uming-embolden.conf
etc/fonts/conf.d/10-scale-bitmap-fonts.conf
etc/fonts/conf.d/65-0-madan.conf
etc/fonts/conf.d/20-unhint-small-vera.conf
etc/fonts/conf.d/65-0-lohit-kannada.conf
etc/fonts/conf.d/25-no-bitmap-fedora.conf
etc/fonts/conf.d/65-0-lohit-tamil.conf
etc/fonts/conf.d/25-unhint-nonlatin.conf
etc/fonts/conf.d/65-0-nhn-nanum-gothic.conf
etc/fonts/conf.d/30-metric-aliases.conf
etc/fonts/conf.d/30-urw-aliases.conf
etc/fonts/conf.d/40-nonlatin.conf
etc/fonts/conf.d/45-latin.conf

2.文件的压缩

zip 

zip   -r   etc.tar.zip   etc.tar                   zip格式压缩

unzip  etc.tar.zip                                  zip格式解压缩

 gzip 

gzip  etc.tar                                         gzip格式压缩

gunzip   etc.tar.gz                               gzip格式解压缩

bzip2

bzip2   etc.tar                                     bzip2格式压缩

bunzip   etc.tar.bz2                            bzip2格式解压缩

xz

xz   etc.tar                                         xz格式压缩

xz   etc.tar.xz                                    xz格式解压缩

3.tar+压缩

gzip   

tar     zcf   etc.tar.gz   /etc

tar     zxf   etc.tar.gz  

bzip2

tar   jcf   etc.tar.bz2  /etc

tar   jxf   etc.tar.bz2 

xz 

tar   jcf   etc.tar.xz  /etc

tar   jxf  etc.tar.xz 

xmen-taildir-source:在官方flume-taildir-source的基础上修改和优化,适用于以rsync、scp等同步日志导致同一文件inode会变化的场景 xmen-taildir-source 在官方flume-taildir-source的基础上修改和优化,适用于以rsync、scp等同步日志导致同一文件iNode会变化的场景 主要修改以下几点: 修改使用文件全路径替换inode作为TailFiles的key,避免同一文件inode变化导致数据重复收集 添加侦听目录路径通配符功能,支持在不重启Flume的情况下自动添加匹配的新目录 添加TailFiles的文件过期检查,当同步目录删除之前的日志文件时则标记该文件为过期文件,稍后自动检查从内存移除 立即下载

相关推荐

computer-graphics_geometry-dash:计算机图形学课程的最终项目

计算机图形学-几何破折号 使用Lazarus IDE开发的街机游戏Geometry Dash基本概念的自我解释。 用Pascal编写,并使用MPlayer外部插件处理与声音有关的输出。 玩家可以在平坦的地形上控制立方体,并随机生成尖峰,类似于Google Chrome的恐龙游戏。 此游戏中使用的所有资产都是由各自的存储库所有者独立创建和拥有的。 笔记: 创建此应用程序后, 仍为2.0.10版 有关MPLayer插件的更多信息, 创建者:

linux命令(三)

1.hostname指令 作用:操作服务器的主机名(读取、设置) 语法1:#hostname                        含义:表示输出完整的主机名 语法2:#hostname  -f                        含义:表示输出当前主机名中的FQDN(全限定域名) 2.id指令 作用:查看一个用户的一些基本信息(包含用户id,用户组id,附加组id...

mqingo的博客 387

DBSCAN聚类算法——机器学习(理论+图解+python代码)

一、前言 二、DBSCAN聚类算法 三、参数选择 四、DBSCAN算法迭代可视化展示 五、常用的评估方法:轮廓系数 六、用Python实现DBSCAN聚类算法 一、前言 去年学聚类算法的R语言的时候,有层次聚类、系统聚类、K-means聚类、K中心聚类,最后呢,被DBSCAN聚类算法迷上了,为什么呢,首先它可以发现任何形状的簇,其次我认为它的理论也是比较简单易懂的。今年在python...

huacha__的博客 20万+

修复 Fontconfig Error

系统环境: ubuntu12.04 问题: 当使用 xdg-open 打开 *.ps (postscript)文件时,报这个错误; 或者其他某些调用字体的地方也会出现这个错误 xdg-open *.ps 错误提示如下: Fontconfig error: "/usr/local/etc/fonts/conf.d/10-scale-bitmap-fonts.conf", l...

weixin_33726318的博客 3185

告别手动脚本!用TSMaster Python小程序5分钟搞定CAN报文自动发送

本文介绍了如何使用TSMaster的Python小程序功能快速实现CAN报文自动发送,大幅提升汽车电子测试效率。通过简洁的Python代码示例,展示了如何替代传统手动操作和复杂C脚本,实现周期性发送、动态修改报文内容等常见需求,帮助工程师5分钟内完成自动化配置。

weixin_30292843的博客 511

2021电子科技大学分布式系统期末考点精析与实战解析

本文深入解析2021年电子科技大学分布式系统期末考试核心考点,包括分布式事务、时钟同步、GFS架构等高频内容。基于回忆版试题,提供实战解析与应试技巧,帮助考生高效复习。重点涵盖两阶段提交、Cristian算法等关键技术,适合计算机专业学生备考参考。

weixin_29251131的博客 539

Ubuntu 22.04 设置系统字体平滑

如果有配置文件及内容的只需要粘贴框中的即可,如果没有就直接粘贴进去。

TamdingDojee的博客 688

uniapp(全端兼容) - 最新详细实现瀑布流列表及布局设计,uni-app全平台兼容的瀑布流示例,view容器自适应瀑布流布局,图片瀑布流布局、图像+文字卡片式瀑布流,类似小红书(详细示例代码)

uni-app,瀑布流,安卓app,苹果app,微信小程序,移动端,H5网页,手机网站,微信小程序、支付宝小程序,手机app端,nvue,瀑布流布局,如何实现图片瀑布流,怎么做文字+图像瀑布流,uniapp仿小红书笔记瀑布流效果,uniAPP仿快手抖音布局列表,瀑布流列表详细教程,编译所有平台都能用的瀑布流列表,商品瀑布流列表,图文列表,小程序瀑布流,页面触底懒加载,瀑布流插件,详细示例代码教程,uni-app H5实现瀑布流效果,uniapp小程序做瀑布流,纯css瀑布流,用uniapp写瀑布流商品列表,

✅ 精选推荐文章 1万+

Ubuntu8.04中字体设置的问题(最终版)

Linux /showfly 发表于2008-06-01, 18:31 今天一整天都在看/etc/fonts/conf.avail下的配置文件,并参考了其它的一些美化方案,终于得到在Ubuntu8.04版中的最终美化方案。一直以来我都喜欢AA显示字体,不喜欢Windows下的点阵,所以所有的美化方案都是基于此的,有同好的朋友可以参考一下。之前的几种美化方案多少都有不足

Wing's Blog 1736

uniapp - 实现苹果App打包上架App Store应用商店详细教程,详解Hbuilder打包编译ipa发布上传到苹果ios软件商店全流程,提供云打包/离线本地打包ios、申请IOS苹果证书方法

uni-app,苹果ios,苹果app,打包编译,appstore应用商店,ipa发布到软件商店,uniapp的app苹果应用商店上架,上架苹果APPStore,uniApp打包的ipa文件上传到商店,上架苹果商城,审核失败,被拒绝,UniApp打包ipa文件,上架iOSAppStore流程指南,最新详细教程最全,Hbuilder打包发布iosapp,苹果云打包上线全过程,云打包IPA并上传到商店,打包iOSipa文件后怎么发布到应用商店,苹果证书申请教程,ios证书申请,mac电脑,审核很久

🏆 前端领域优质创作者 1万+

2026年数学建模国赛C题利器:层次分析法与主成分分析在统计建模中的应用

本文系统探讨了层次分析法(AHP)与主成分分析(PCA)在数学建模竞赛,特别是全国大学生数学建模竞赛C题中的联合应用策略。通过理论阐述、方法对比和案例实践,本文揭示了两种方法从“数据降维”到“决策评价”的完整分析链条,提出了“PCA+AHP”协同框架,并通过实际算例验证了该框架在解决复杂评价类问题中的有效性和优越性。研究表明,将PCA的客观降维能力与AHP的主观决策优势有机结合,能够显著提升统计建模的科学性、合理性和解释力,是应对日益复杂的竞赛题目的重要方法论工具。关键词:层次分析法;主成分分析;数学建模。

YOLO 41

rsync完全教程+百万级小文件实时同步

1)在node1 node2上实现双向无密码验证 [root@node1 ~]# ssh-keygen [root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub node2 [root@node2 ~]# ssh-keygen [root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub node1 2)node1 no

yinzhipeng123的博客 1万+

RT-DETR的AIF模块+YOLOv8:融合注意力与特征交互,打造实时检测的科研级进阶方案

从理解AIF模块“细粒度注意力+跨尺度交互”的核心设计,到亲手将其嵌入YOLOv8并验证在复杂场景的表现,再到基于此探索属于自己的科研与工程方向——这个过程能让你深刻理解“注意力机制与CNN融合”在实时检测中的核心价值。现在就开始行动,相信你会在实时目标检测的“智能进化”之路上,走出一条属于自己的技术路径。从实验对比图可见,集成AIF模块的YOLOv8,其mAP(平均精度)在多个阈值下均有提升,尤其是mAP50-95(高IoU阈值下的精度)提升更为显著,充分证明了AIF对细粒度特征的捕捉能力。

m0_64661770的博客 188

八、Linux系统中的文件传输优化

文章目录八、Linux系统中的文件传输优化实验环境8.1 文件传输8.1.1 scp8.1.2 rsync8.1.3 scp与rsync的比较8.2 文档归档-tar 八、Linux系统中的文件传输优化 实验环境 两台可以通信的主机 A IP:192.168.0.108 B IP:192.168.0.109 8.1 文件传输 8.1.1 scp 格式: scp   本地文件 ...

weoopp的博客 252

第11.4节 混合储能系统能量管理

混合储能系统(HESS)的能量管理策略采用分层架构实现多时间尺度优化:调度层(小时级)进行经济优化,协调层(秒级)基于频率分解分配功率,执行层(毫秒级)实现快速跟踪。深度强化学习(DRL)方法通过定义状态空间、动作空间和多目标奖励函数,能有效处理系统不确定性和多目标优化问题。HESS性能评估需综合技术指标(如调节性能Kp值、设备寿命指标)和经济指标(净现值NPV、平准化储能成本LCOS),并遵循"建模-仿真-实验"的闭环流程。

技术工作者 245

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

学习Linux系统中的文件传输优化

Linux系统中的文件传输优化 1.1 实验环境 两个虚拟机,保证两虚拟机之间可以互相连接 rhel8:192.168.1.32 rhel7: 192.168.1.33 2.1 scp命令 scp本地文件 远程用户@远程主机ip:远程主机目录 scp -r 本地目录 远程用户@远程主机ip:远程主机目录 2.2 实验步骤 在rhel7虚拟机中 测试 ...

qq_46094902的博客 420

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

优化Linux系统中的文件传输

文章目录scp传输rsync传输scp和rsync传输的区别文件的归档(装箱)文件归档是什么如何进行文档文件的压缩与解压zipgzipbzip2xz scp传输 上传文件:(把本机文件发给远程主机) scp 自己主机哪个文件 远程主机用户名@远程主机ip:放在远程主机哪个位置 下载文件:(把远程主机文件拿回来给自己主机) scp 远程主机用户名@远程主机ip :远程主机哪个文件 自己主机...

weixin_45649763的博客 625

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: Linux 下的进程管理
下一篇: Linux系统中企业级日志管理及优化
FYRXP
博客等级 码龄7年 6粉丝 57原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值