Python实现文本处理 - 按分隔符将一列里有多个值的分割成多行

最新推荐文章于 2021-02-20 10:45:23 发布

原创

最新推荐文章于 2021-02-20 10:45:23 发布 · 置顶 · 5.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#文本 #分隔符 #行

本文介绍如何使用Python将包含多个值的一列文本根据特定分隔符拆分成多行。例如，通过'，'分隔第4列，'！#'分隔第6列，将70万条记录拆分为1700多万条。实验显示，该方法在不同配置的CPU上运行，所需时间从半小时到6分钟不等。作者还探讨了使用shell脚本多文件处理以提高效率。

最近在处理文件时需要将一行文本按照一定的分隔符分成多行。如

ABC123,1,2,1!#2,3,4!#5!#6

ABC123是ID，后面的是属性，按‘，’分割的第4列，第6列都有不同的属性，用！#分割，如4！#5！#6，我想要拆成

ABC123,1,2,1,3,4
ABC123,,,2,,5   
ABC123,,,,,6

直接上代码：

# -*- coding:utf-8 -*-
import sys
import time

# 原始文件
inputfile = sys.argv[1]
#第一层分隔符，如','
split1 = sys.argv[2]
#第二层分隔符，如'！#'
split2 = sys.argv[3]
#输出文件的分隔符
Osplit= sys.argv[4]

#打开文件，f为输入；o为log；r为输出
f = open(inputfile, 'r+')
o = open('log.txt', 'w+')
r = open(inputfile + "_output", 'w+')

#写下开始时间
o.write("[" + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) + "]Start to Process: " + inputfile + "\n")