背景说明
因为个人工作的原因,数据来源的CSV格式文件的编码格式并不固定,所以需要一个可以批量读取不同编码格式的CSV。
逻辑
逻辑就是通过chardet
模块来读取文件的编码格式
chardet.detect(f.read())["encoding"]
这段代码可以输出文件的编码格式
然后通过判断不同的编码格式来分开执行。
整体代码如下
import chardet
import pandas as pd
def read_csv_diy(paths):
with open(paths,'rb'