PowerShell过滤文件中的重复内容

最新推荐文章于 2023-10-22 16:10:36 发布

weixin_30872789

最新推荐文章于 2023-10-22 16:10:36 发布

阅读量183

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wghao/p/3816694.html

本文介绍如何使用PowerShell命令处理文本文件中的重复行，并将处理后的结果保存到新文件中。通过Get-Content获取文件内容，使用Sort-Object进行排序，再用Get-Unique去除重复项，最后以Out-File命令输出到指定文件。

Get-Content -Path E:\test11\data.txt | Sort-Object | Get-Unique

源文件：

AA0001 2014-06-30 15:27:13.073
AA0001 2014-06-30 15:27:13.073
AA0001 2014-06-30 15:27:13.073
AA0002 2014-06-30 15:27:30.607
AA0002 2014-06-30 15:28:00.467
AA0003 2014-06-30 15:28:20.297
AA0003 2014-06-30 15:28:20.297

过滤后：

AA0001 2014-06-30 15:27:13.073
AA0002 2014-06-30 15:27:30.607
AA0002 2014-06-30 15:28:00.467
AA0003 2014-06-30 15:28:20.297

过滤后，另存为新的文件，可以这样：

Get-Content -Path E:\test11\data.txt | Sort-Object | Get-Unique | Out-File -FilePath E:\test11\NewData.txt

转载于:https://www.cnblogs.com/wghao/p/3816694.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30872789

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

PowerShell 脚本实战：解决 GitLab 仓库文件批量重命名难题

zhlh_xt的专栏

12-03

644

脚本的重要性：通过编写脚本，我们可以自动化重复性任务，大大提高工作效率。在这个案例中，如果手动重命名数百个文件，不仅耗时而且容易出错。调试技巧：遇到错误时，仔细阅读错误信息是解决问题的关键。错误信息通常会指出问题所在的位置和原因。字符串处理：在PowerShell中，正确处理字符串拼接和插值是很重要的。使用适当的字符串操作方法可以避免很多常见错误。持续学习：编程语言和脚本工具在不断发展，保持学习新的语法和最佳实践很重要。问题解决能力：遇到问题时，能够分析、查找资料、尝试不同解决方案的能力是非常宝贵的。

15｜PowerShell脚本：如何实现文件批量处理的自动化？

最新发布

qq_37756660的博客

05-23

3195

PowerShell 是开源的终端命令解释器，之所以被称作解释器，是因为它会把用户输入的命令翻译给操作系统去执行，也能把操作系统执行的结果返回给用户。作为 PowerShell 的初学者，你刚开始理解起来会有点难度，不过别担心，举个例子就明白了。比如，在商场中的娃娃机，你需要通过对摇杆的控制来移动爪子的位置，抓取想要的礼物，因为你自己是没法直接移动爪子的。那么把你移动摇杆的操作翻译成爪子移动操作的功能，这就是解释器。

参与评论您还未登录，请先登录后发表或查看评论

使用PowerShell配置Hyper-v Server重复数据删除

weixin_34292402的博客

12-18

192

使用PowerShell配置Hyper-v Server重复数据删除前面的博文中给大家介绍了重复数据删除的一些相关知识以及如何使用GUI界面配置Hyper-v Server的重复数据删除功能。今天的博客中我们将为大家介绍如何通过PowerShell配置Hyper-v Server的重复数据删除功能。Ok、废话不多说我们开始：使用Windows PowerShell安装并配置重复数据删除则分别键入以...

FindDuplicateFiles:Powershell查找和删除重复文件

04-04

用于查找和/或删除重复文件的Powershell脚本在Windows Powershell中发挥作用-它允许您在所有现代Windows计算机上运行脚本，而无需安装/导入任何内容。注意力！该脚本可以删除文件！使用风险自负！仅在了解脚本功能的情况下才使用该脚本。如何使用有两个脚本。第一个是getInventur.ps1 。该脚本要求您扫描文件夹，并使用MD5 cheksum制作文件清单。然后将清单存储在.\All-Files-With-Hashes.csv 。在第二个csv名称.\All-Duplicate-Files.csv您会找到所有重复文件。在首次使用时，您需要按策略允许脚本执行。以Administrator身份运行Powershel，然后键入： set-executionpolicy remotesigned 启动脚本->转到脚本文件夹并输入： .\

PowerShell查找替换同名文件

weixin_30696427的博客

03-02

246

param( $DriverFolder=$(throw "DriverFolder is null"), $CatFolder=$(throw "CatFolder is null") ) $Script:DriverCats = New-Object -TypeName System.Collections.ArrayList $Script:Cats=$ar...

PowerShell读写文件，行的去重

morein2008的专栏

06-29

584

Power Shell类似bash终端能够直接操作文件，使用其内置的Get-Content函数，配合一定的参数，能方便地读取文件和重定向。 1. Power Shell>>Get-Content d:\1.txt -totalcount 100 | set-Content top100.txt #读取指定文件的前100行，并另存为top100.txt 2. $file = Get-C...

Powershell编程中重复字符自动跳过的处理方法

在编程中，转储路径通常指的是将程序运行过程中的内存信息、对象状态或变量内容等输出到文件中，以便于调试和问题分析。路径转储可以是文本形式，也可以是二进制形式，视具体的应用需求而定。 ### 字符重复字符...

如何有效过滤TXT文本文件的无用内容

TXT文本过滤器是一种用于处理TXT文本文件的工具，其主要功能是帮助用户从大量文本数据中筛选出需要的信息，同时去除那些不需要的内容。这个过程称为文本过滤，它是数据处理和信息检索中的一个基本技术。 ### 文本...

powershell实战指南

10-08

此外，书中可能还会介绍PowerShell的提供者（Provider），它们扩展了PowerShell对系统资源的访问，如注册表、证书存储和XML文件等。脚本编写是PowerShell的一大亮点。你将学习如何编写简单的脚本来执行重复性任务...

数组去重多解法

Eiger的博客

09-28

318

方法一：在ES6语法里有一个很骚的东西，Set：一个可以是任何类型的独一无二的值的集合.[...(new Set(arr))]又或者可以使用Array.from()Array.from(new Set(arr))方法二：思路： 1.将原数组排序 2.用新数组中的第i个元素与排序后数组中的最后一个元素比较 3.将不相等的元素push到新数组中 function unique(arr) { va

Shell脚本去重的几种方法实例

qq_27169017的博客

09-22

1562

这篇文章主要介绍了Shell脚本去重的几种方法实例,本文直接给出代码实例,需要的朋友可以参考下测试文件复制代码代码如下: [root@bogon ~]# cat >test jason jason jason fffff jason 按 Ctr + D保存 1、sort -u 复制代码代码如下: [ro

PowerShell检索多个文件中的关键字，并将文件名去重后出力到新文件

Thinking In Java

08-11

511

PowerShell检索多个文件中的关键字，并将文件名去重后出力到新文件。

Windows系统使用powershell查找并删除重复文件

weixin_56337147的博客

10-22

1255

编写运行.ps1文件，查找并删除重复文件。

PowerShell 查找重复最多的字符

weixin_34179968的博客

04-28

749

2019独角兽企业重金招聘Python工程师标准>>> ...

谈谈下数组去重的方法

hh331400的博客

01-22

184

##在我们前端的学习中经常要用到数组的一些方法,比如数组去重,现在我们就来简单的看下有哪些方法能够实现 1.Set 集合es6中新增数据类型 var arr=[1,1,22,3,3,4] newArr=[...new Set(arr)] console.log(newArr); //[1,22,3,4] `` 2.冒泡法实现数组去重 var arr=[1,1,22,3,3,4] arr.so...