txt文本转编码格式(支持utf-8、GBK、GB2312、GB18030、BIG5等所有编码格式)
脚本的使用方法
创建一个convert_to_utf8的python文件,将代码复制保存。
在终端输入以下命令,即可实现自动检测原文件的编码格式,并生成对应的新文件:
python convert_to_utf8.py 原文件.txt 新文件.txt
当然,也可以指定原文件的编码格式:
python convert_to_utf8.py 原文件.txt 新文件.txt --encoding Big5
import argparse
import chardet
def detect_encoding(file_path):
"""Detect the encoding of a file."""
with open(file_path, 'rb') as file:
raw_data = file.read(10000