我写过的最长的命令

最新推荐文章于 2024-11-17 19:00:12 发布

原创最新推荐文章于 2024-11-17 19:00:12 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#duplicates #reference #database #数据库 #mysql

linux相关专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一个基于MD5值查找并删除重复文件的Shell命令。该命令能够找到相同内容的图片文件（如PNG和JPG），仅保留一个副本，并更新数据库中指向已删除文件的引用。

我写过的最长的命令根据md5的值找出相同的文件；所有相同的文件中只保留（任意，这里是排序后的第一）一个，删除其他，并且在数据库中把对删除文件的引用改为对保留文件的引用。


 1
 2  # check images: remove duplicates, update reference to removed ones in database
 3
 4  find /data/lessondev -type f /( -name '*png' -or -name '*jpg' /) -exec md5sum {} + |sort | uniq -D -w 32 | awk '
 5  BEGIN { ORS = ""; OFS = "" }
 6  {
 7          if ( md5 != $1 )
 8          {
 9                  print "/"impossible filename/");/n"
10                  print "UPDATE `media` SET `Filename`= /"", $2, "/" WHERE `Filename` IN ("
11          }
12          else
13          {
14                  print "/"", $2, "/", "
15          }
16          md5 = $1
17  }
18  END { print "/"impossible filename/");/n" }
19  ' | sed '1d;s#/data/lessondev/##g' | mysql -s -u username --password=mypass currdb
20
21