linux上处理大文件生成loadrunner参数dat格式的文件直接使用

最新推荐文章于 2021-05-02 08:43:52 发布

原创最新推荐文章于 2021-05-02 08:43:52 发布 · 788 阅读

0 ·

CC 4.0 BY-SA版权

Linux相关专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一种在Linux环境下处理大规模AccessLog数据的方法，通过将200多万条记录分割成多个小文件，并转换为.dat格式，以便在LoadRunner中作为参数使用。文章详细描述了如何使用split命令进行文件切割，批量修改文件后缀，以及如何在每个文件头部添加标题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景及需求：

导出了线上的一批accesslog，大概有200多W条数据，获取accesslog中URL这一个字段出来，一共也是200多W的文本数据，如果按常规处理手段来，那无论是notepad+还是excel还是lr的dat都无法识别这么大量的数据。

在linux上做一些处理：

1、切割大文件，最终处理成差不多10W一个文件

2、批量更改切割的文件后缀，生成.dat格式，挪到loadrunner项目中直接当参数使用

3、切割后的文件，要在每个文件第一行加一个标头，因为lr中作参数要用到title的

首先：切割大文件

[root@x-xx jieguo]#  split -l 1000 ../part_42.dat part_

语法涉及：

#加上-d，使用数字后缀；加上--verbose，显示分割进度：
#large_file.txt要分割的大文件，part_分割后的名字
split -l50000 -d large_file.txt part_ --verbose

其次：批量生成dat后缀的文件

#!/bin/bash

#批量更改名称
for i in * 
do 
mv $i $i".dat" 
done

再次：指加标头