awk打乱文件行顺序

最新推荐文章于 2021-09-27 11:26:48 发布
最新推荐文章于 2021-09-27 11:26:48 发布
阅读量2.5k 收藏
点赞数
分类专栏： 系统相关
假设一个文件是已经排好序的，现随机抽取里面的部分。为了达到随机性，需要对文件打乱顺序后再抽取 

Shell代码  收藏代码
  1. [root@localhost tmp]# for i in {1..10}; do echo "$RANDOM $RANDOM $RANDOM"; done | sort -n > t  
  2. [root@localhost tmp]# cat t  
  3. 129 32444 4962  
  4. 149 19841 3307  
  5. 2327 21849 3066  
  6. 4138 28425 21201  
  7. 5076 20742 2021  
  8. 11646 4268 18112  
  9. 16553 16363 6218  
  10. 21182 8495 26533  
  11. 24534 8485 24987  
  12. 29942 1816 4658  
  13. [root@localhost tmp]# awk 'BEGIN{srand();} {printf "%s %s\n", rand(), $0}' t | sort -k1n | awk '{gsub($1FS,""); print $0}'  
  14. 11646 4268 18112  
  15. 4138 28425 21201  
  16. 5076 20742 2021  
  17. 21182 8495 26533  
  18. 129 32444 4962  
  19. 149 19841 3307  
  20. 2327 21849 3066  
  21. 24534 8485 24987  
  22. 16553 16363 6218  
  23. 29942 1816 4658  
  24. [root@localhost tmp]#   
15、Awk编程：强大的模式匹配与数据处理工具
meat5的博客
06-24 13
本文全面介绍了Awk作为一种强大的模式匹配与数据处理工具，详细讲解了其基本语法、核心特性、应用场景以及高级功能。内容涵盖模式与操作、变量、条件语句、循环结构、数组、函数、输入输出处理等编程要素，并结合实例展示了如何使用Awk进行数据筛选、统计计算和报告编写。此外，还讨论了Awk与其他UNIX工具的结合使用、性能优化建议及常见问题解答，旨在帮助读者快速掌握Awk编程并应用于实际工作中。
linux：随机抽取文件某些行
日常学习与专研的记录
07-29 562
本文介绍linux如何随机抽取文件的某些行。
按行随机打乱文本文件(xe3)
07-06
随机打乱文本文件的每一行。
AWK 将文本按行打乱顺序
zjbzwhwhz的博客
12-15 1263
仅供自己复习之用。 原文：http://www.iteye.com/topic/1124827 129 32444 4962 149 19841 3307 2327 21849 3066 4138 28425 21201 5076 20742 2021 11646 4268 18112 16553 16363 6218 21182 8495 26533 24534 8485 24
一个乱序脚本（awk）
在路上
04-03 278
好用而且效率高，特分享： awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' 需要乱序的文件 原理：生成一个随机数来加上行号，取出对应的行内容。最后再输出。...
怎样打乱文件夹中的文件顺序
weixin_44133816的博客
09-27 4217
打乱文件夹中的文件顺序 我的文件夹中的文件是按照名字（数字）排序的，现在对其进行打乱。 代码如下： 1 导入需要的库 import os import random import shutil 2 读取文件列表 image_dir = r’xxxxx/’ # 需要打乱的文件夹 img_name_list = os.listdir(image_dir) print(img_name_list[:10]) 3 创建一个目标文件夹 result_dir = r’result/’ # 目标文件夹，可自己创建
Shell脚本实现乱序排列文件内容的多种方法（洗牌问题）
09-15
这种需求通常出现在数据处理、测试场景或者数据分析时，为了模拟随机性或打乱原有顺序。以下是几种不同的Shell和AWK脚本实现方法。 1. **Shell方法**： 这种方法利用了Shell的内置变量 `$RANDOM`，它可以生成一个0...
在什么情况下适合选择 `sort -u` 而不是 `awk` ?
最新发布
04-30
举个实际案例说明这个问题的重要性：设想我们正在监控网络流量抓包所得pcap文件转换成易于解析的形式后提取IP地址集合，显然这里并不在乎各个独立主机首次出现的具体时刻点位关系怎样变化，而是单纯渴望知晓有哪些...
去除文件中相同行
03-19
Python有读取文件、处理行的能力，可以用集合来去重，但要注意集合会打乱原有顺序。如果用户需要保持顺序，可能需要用其他方法，比如遍历并记录已出现的行。 可能的步骤： 1. 命令行方法：使用sort和uniq的组合，...
【shell】【awk】常用命令 使用awk 按行打乱(shuffle)数据文件
delacroix_xu的专栏
05-22 6100
cat  1.txt  | awk  -F"\3" 'BEGIN{srand();}{value=int(rand()*10000000); print value"\3"$0 }' | sort | awk -F"\3" '{print $2}'
写的一个打乱文件行顺序的程序，效率还不错。
itegel的专栏
10-28 4032
<br />#include <iostream> #include <vector> #include <algorithm> #include <string> #include <stdlib.h> #include <time.h> using namespace std; vector<string> lines; int main(int argc, char **argv) { if( argc < 2 ) { fprintf(s
awk解决乱序问题
Lubin的编程专栏
05-08 755
由于awk数组的实现机制，导致遍历输出时会乱序。典型的程序如下： awk -F "\t" '{ field=$1"\t"$2 new[field]=$1"\t"$2"\t"$3"\t"$4 }END{ for(i in new){ print new[i] } }' file.txt > file2.txt 这段代码产生的结果将是乱序的。 于是想了一个办法借用行号标识存储数据达到目的。 awk -F "\t" '{
[shell应用]——打乱文件顺序
卓越&极致
09-11 6655
一般我们都会使用排序功能，但也会遇到要打乱排序的情况，之前我有一个脚本是统计所有平台的名字，默认就会按名字进行有序的排列，但一台server上可能在同时并发上10个连接的时候会出现被拒绝的情况，所以要打乱整个排序，让同时10个并发不是请求到1台server上面。所以打乱排序就变得有意义了。 * 一行中各列打乱 * 一个文本中各行打乱 awk 'BEGI
Ubuntu下打乱txt文件行序
u010555688的专栏
01-07 5285
已有文件train.txt,欲将其按行打乱，每行内容则保持不变，命令： cd 存放文件的路径 awk 'BEGIN{ 100000*srand();}{ printf "%s %s\n", rand(), $0}' train.txt |sort -k1n | awk '{gsub($1FS,""); print $0}' 但这样处理后只是在屏幕上输出显示，如果需要将输出写入新的文本tra
Linux 文件打乱顺序
weixin_30653023的博客
09-06 827
catin.txt|awk'BEGIN{srand()}{printrand()"\t"$0}'|sort-k1,1-n|cut-f2->out.txt sort -R in.txt > out.txt 后者要计算每行的hash，再排序，在文件内容比较多的情况下前者要比后者快得多 参考文献： http://blog.youkuaiyun.com/littl...
shell 打乱文件行
琼华
05-02 5131
随机打乱文件的每一行
awk 常用指令学习
I ♥ emulator
10-18 305
todo
如何删除文件中相同的两部分
03-08
<think>好的，我现在需要帮助用户解决如何移除文件内的重复部分的问题。首先，我要理解用户的需求。用户提到想查找去除文件中重复内容的方法，可能是指文本文件中的重复行或者其他重复数据。接下来，我需要回忆相关的技术方法，并结合提供的引用内容给出合适的建议。 根据用户提供的引用，引用3提到了使用Open3D库进行点云去重，但那是针对点云数据的，可能不适用于普通文本文件。不过，用户的问题更可能是关于文本处理，所以我应该考虑常见的文本去重方法，比如使用命令行工具或者编写脚本。 首先想到的是Linux中的sort和uniq命令，这两个工具可以很方便地处理文本文件的重复行。例如，使用sort file.txt | uniq > newfile.txt可以排序并去重。需要确认是否需要保留顺序，因为sort会改变行的顺序。如果用户需要保留原有顺序，可能需要其他方法，比如逐行读取并记录已出现的行。 另外，用户提供的引用1提到了递归删除重复文件，但用户的问题是关于文件内容的去重，而不是文件本身。不过引用2关于文件权限的内容可能不相关，可以暂时忽略。 接下来，可能需要考虑Python脚本的方法，特别是如果用户需要更灵活的处理，比如不改变顺序的情况下删除重复行。例如，使用Python读取文件，逐行检查是否已经存在，然后写入新文件。同时，引用3中的去重逻辑可能可以借鉴，比如使用集合来跟踪已出现的行。 此外，用户可能需要知道不同方法的优缺点，比如命令行工具适合快速处理，而脚本更适合复杂需求。还需要注意处理大文件时的内存问题，使用生成器或者逐行读取来避免内存溢出。 最后，要确保回答结构清晰，分步骤说明方法，并引用相关的内容。比如，引用3提到的去重方法虽然针对点云，但可以类比到文本处理中使用哈希或集合来检测重复项。</think>### 去除文件内重复内容的方法 #### 一、使用命令行工具（简单高效） 1. **基于排序的去重**（适用于无序文件） 通过`sort`和`uniq`命令组合实现： ```bash sort input.txt | uniq > output.txt ``` - **原理**：先对文件内容排序，再通过`uniq`过滤相邻重复行。 - **缺点**：原始行顺序会被打乱[^3]。 2. **保留原始顺序的去重**（需额外工具） 使用`awk`逐行处理并保留首次出现的行： ```bash awk '!seen[$0]++' input.txt > output.txt ``` - **优势**：不改变行顺序，直接输出唯一行[^3]。 --- #### 二、Python脚本实现（灵活可控） ```python def remove_duplicates(input_file, output_file): seen = set() with open(input_file, 'r') as f_in, open(output_file, 'w') as f_out: for line in f_in: if line not in seen: seen.add(line) f_out.write(line) # 示例调用 remove_duplicates("input.txt", "output.txt") ``` - **功能扩展**： - 支持大小写敏感/忽略（`line.lower()`处理） - 去除空白字符差异（`line.strip()`处理）[^3] --- #### 三、专用工具与编辑器 1. **Vim/Neovim**： 命令模式下执行`:%!sort -u`或`:%!uniq`快速去重。 2. **VS Code插件**： 安装"Remove Duplicate Lines"插件一键操作。 --- #### 四、注意事项 1. **大文件处理**： Python脚本需改用生成器或逐行读取避免内存溢出。 2. **重复定义**： 需明确重复判断标准（如是否包含空格、大小写等）。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值