SimpleDirectoryReader 读取中文件乱码

小李李3

于 2024-07-20 15:46:52 发布

阅读量377

点赞数 3

分类专栏：自然语言处理文章标签：开发语言 llama 自然语言处理

本文链接：https://blog.youkuaiyun.com/qq_43985140/article/details/140572405

版权

自然语言处理专栏收录该内容

2 篇文章

订阅专栏

问题：

使用SimpleDirectoryReader读取文件夹里的文件时，出现乱码。

from llama_index.core  import SimpleDirectoryReader
documents = SimpleDirectoryReader(
    input_dir="./data/文件夹的地址",
    # encoding="GB2312"
).load_data()

解决办法：

添加encoding参数为GB2312。

documents = SimpleDirectoryReader(
    input_dir="./data/监管事项库与分类标准",
    encoding="GB2312"
).load_data()