Llama Stack Apps 项目使用教程

Llama Stack Apps 项目使用教程

llama-stack-apps Agentic components of the Llama Stack APIs 项目地址: https://gitcode.com/gh_mirrors/ll/llama-stack-apps

1. 项目介绍

Llama Stack Apps 是一个基于 Llama Stack 的开源项目，展示了如何构建具有代理能力的应用程序。这些应用程序可以进行任务分解和多步骤推理，使用工具执行操作，并提供系统级别的安全保护。Llama Stack 定义并标准化了构建生成式 AI 应用程序所需的组件，通过 Llama Stack Distribution 将这些 API 实现组装在一起。

2. 项目快速启动

环境准备

首先，您需要准备 Python 环境，推荐使用 Conda 创建一个隔离的环境。

# 创建并激活虚拟环境
ENV=stack
conda create -n $ENV python=3.10
cd <path-to-llama-stack-apps-repo>
conda activate $ENV

# 安装依赖
pip install -r requirements.txt

启动 Llama Stack 服务器

请参考 Llama Stack 项目的官方文档来设置和运行 Llama Stack 分布，启动服务器以提供 API 端点。

# 假设服务器已经启动，并监听在 localhost:8321

测试代理示例脚本

在服务器运行的情况下，您可以运行示例脚本来测试简单的代理。

# 设置 Tavily Search API 密钥（需要替换为您的密钥）
export TAVILY_SEARCH_API_KEY=[KEY]

# 运行示例代理
python -m examples.agents.hello localhost 8321

您将在终端看到代理的输出。

3. 应用案例和最佳实践

应用案例

Llama Stack Apps 提供了多个示例脚本和笔记本，展示了如何与 Llama Stack 服务器交互并执行代理任务。

最佳实践

• 在构建代理应用时，请确保任务分解合理，每一步都有明确的目标。
• 使用工具时，尽量保证工具的调用是原子性的，即每个工具调用都应该完成一个明确的小任务。
• 在推理过程中，确保使用 Llama Guard 进行安全检查，以提供系统级别的安全保护。

4. 典型生态项目

Llama Stack 生态系统中有许多项目，以下是一些典型的项目：

• Llama Stack：核心项目，提供构建生成式 AI 应用程序的 API 和工具。
• Llama Guard：提供系统级别安全保护的模型。
• Llama Search：集成了搜索能力的工具。

以上是 Llama Stack Apps 的基本使用教程，希望对您有所帮助。

llama-stack-apps Agentic components of the Llama Stack APIs 项目地址: https://gitcode.com/gh_mirrors/ll/llama-stack-apps