自然语言处理爬过的坑：使用python遍历所有的文件夹中的所有文本.标准库OS的常用函数总结大全

腾阳

于 2018-05-26 08:11:02 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：自然语言处理学习笔记学习python我所遇到的坑以及解决方法文章标签： OS python 遍历文件夹自然语言处理

本文链接：https://blog.youkuaiyun.com/weixin_41931602/article/details/80458740

本文介绍了使用Python OS库遍历文件夹中的文本内容，特别是处理中文标题的问题，以及在Python2和Python3中不同的编码方式。文章详细列举了OS库的常用函数，如os.sep获取目录分隔符，os.getcwd()获取当前工作目录，os.listdir()列出目录内容，os.remove()删除文件，并涉及到环境变量的操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import os
import codecs

def search(filepath):
#遍历filepath下所有文件，包括子目录
    files = os.listdir(filepath)
    for file in files:
        file_text = os.path.join(filepath,file)
        if os.path.isdir(file_text):
            search(file_text)
        else:
            path = os.path.join(filepath,file_text)
            print path
            with codecs.open(path,'r','utf-8')as file:
                lines = [line.strip() for line in file]
                #print text
                print lines

#递归遍历/root目录下所有文件
search(r'C:\Users\ME\Desktop\Python project\pachong\scrapy\baichuan2\baoxian')

#注意前面的r,如果没有，有些\需要转义，如\t,\b,\n

例如search('C:\Users\ME\Desktop\Python project\pachong\scrapy\\baichuan2\\baoxian')

运行，就会得到以下的结果

最低0.47元/天解锁文章

200万优质内容无限畅学