编写shell脚本通过ftp下载文件并进行合并去重操作

关注

原创最新推荐文章于 2026-03-25 06:41:31 发布 363 阅读 AI 写同款· GEO 优化 ›

Windows 11/10 资源管理器 FTP 关联修复：3种注册表方案对比与一键脚本本文详细介绍了Windows 11/10系统中资源管理器FTP关联问题的三种注册表修复方案，包括修改IE Shell集成功能键值、重建FTP协议关联项和混合修复方案。针对不同场景提供选择指南，并附赠一键执行脚本，帮助用户快速恢复资源管理器对FTP的正常访问，解决Edge或IE强制跳转的问题。阅读详情

#!/bin/bash

 

today_date=`date +%Y%m%d`

now=`date +'%Y-%m-%d %H:%M:%S'`

 

echo "===================================${now}脚本开始执行=====================================" >> /home/shell/log/data.log.${today_date}

#删除重名文件

rm -rf /home/test/${today_date}*.txt

 

echo "正在下载文件......" >> /home/shell/log/data.log.${today_date}

 

#连接ftp

ftp -n<<!

open 0.0.0.0

user username password

binary

#进入ftp下载目录

cd download/data

#指定下载到本地的目录

lcd /home/test/

prompt

#批量下载

mget ${today_date}*.txt

close

bye

!

 

echo "文件下载完毕，开始合并数据......" >> /home/shell/log/data.log.${today_date}

#合并文件

cat /home/test/${today_date}*.txt > /home/test/merge.txt.${today_date}

#替换不可见字符SOH为|

tr '\001' '\|' </home/test/merge.txt.${today_date}> /home/test/merge2.txt.${today_date}

#取出手机号

cat /home/test/merge2.txt.${today_date} |awk -F '|' '{print $2}' > /home/test/merge3.txt.${today_date}

echo "合并数据完毕，开始号码去重......" >> /home/shell/log/data.log.${today_date}

#号码去重

sort /home/test/merge3.txt.${today_date} | uniq > /home/test/replaceWhite_${today_date}

echo "号码去重完毕，开始删除临时数据......" >> /home/shell/log/data.log.${today_date}

#删除无用文件

rm -rf /home/4G/sdltjf/merge*.txt.${today_date}

rm -rf /home/4G/sdltjf/noget*_${today_date}*_jc.txt

echo "临时数据删除完毕，开始上传任务......" >> /home/shell/log/data.log.${today_date}

sh /home/shell/uploadPhone.sh

echo "===================================${now}脚本结束执行=====================================" >> /home/shell/log/data.log.${today_date}

收录于