python 读写文件包含多种编码格式

最新推荐文章于 2022-10-22 00:08:15 发布

hm11290219

最新推荐文章于 2022-10-22 00:08:15 发布

阅读量3.8k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python 编码

本文链接：https://blog.youkuaiyun.com/hm11290219/article/details/71426577

Python 专栏收录该内容

61 篇文章

订阅专栏

本文介绍了一个Python脚本，该脚本能处理多种编码格式的文件，并将其内容合并到一个txt文件中。脚本使用chardet检测文件编码，支持utf-8、GB2312和UTF-8-SIG等编码格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天写一个脚本文件，需要将多个文件中的内容汇总到一个txt文件中，由于多个文件有三种不同的编码方式，读写出现错误，先将解决方法记录如下:

# -*- coding: utf-8 -*-
import wave
import pylab as pl
import numpy as np
import pandas as pd
import os
import time
import datetime
import arrow
import chardet
import sys  
reload(sys)  
sys.setdefaultencoding('utf8')  
os.chdir("F:/new_srt")


#get words of srt file
###########################################
def get_word():
    path = "F:/new_srt"
    filelist = os.listdir(path)
    for files in filelist:
        print files
        encoding = chardet.detect(open(files,'r').read())['encoding']
        if encoding == 'utf-8':
            data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
        elif encoding == 'GB2312':
            try:
                data=pd.read_csv(files,encoding="gbk",sep='\r',header=None)
            except UnicodeDecodeError:
                data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
        elif encoding == 'UTF-8-SIG':
            data=pd.read_csv(files,encoding="UTF-8-SIG",sep='\r',header=None)
        else:
            print 'this is an error about %s' % files 

        data_new=pd.DataFrame(np.reshape(data.values, (-1,3)))
        data_new.columns=['index','timecut','content']
        filename = os.path.splitext(files)[0]        #filetype = os.path.splitext(files)[1]
        with open('F:/result.txt', 'a') as file:
            file.write(str(filename)+' ' )
            for item in data_new['content']:
                file.write(item.decode("utf-8") +' ')   #s=s.decode("utf-8")  
            file.write('\n')


if __name__ == '__main__':
    get_word()