探索OCIGenAI：轻松上手生成AI聊天模型-优快云博客

本文链接：https://blog.youkuaiyun.com/aGRGWRF/article/details/144633382

探索OCIGenAI：轻松上手生成AI聊天模型

引言

Oracle Cloud Infrastructure (OCI) Generative AI 是一个功能强大的云服务，提供一系列先进的、大规模语言模型（LLMs），可以应用于各种用例。这篇文章将引导您如何开始使用OCIGenAI的聊天模型，帮助您集成这些模型到您的项目中，实现更智能的对话和交互。

主要内容

OCIGenAI概述

OCI的生成AI服务不仅提供开箱即用的预训练模型，还允许您依据自己的数据创建和托管定制化的模型。通过一个简单的API，开发者可以访问多种使用场景下的模型，该API的详细文档可以在这里找到。

集成细节

为了使用OCIGenAI的模型，您需要安装langchain-community和oci包。这些包为您提供了与OCI服务交互的工具和功能。

安装和认证

%pip install -qU langchain-community oci

在认证方面，OCIGenAI支持与其他OCI服务相同的标准SDK认证方法，如API密钥、会话令牌、实例主体和资源主体。以下示例展示了如何使用会话令牌进行认证：

# 代码示例将在下面详细展示

代码示例

实例和调用

首先，我们需要实例化我们的模型对象，并生成聊天响应：

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="{AI_URL}",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

# 构建消息列表
messages = [
    SystemMessage(content="你是一个AI助手。"),
    AIMessage(content="你好，人类！"),
    HumanMessage(content="给我讲个笑话吧。"),
]

# 调用生成对话
response = chat.invoke(messages)
print(response.content)

链式调用

我们还可以使用提示模板对模型进行链式调用：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("讲一个关于{topic}的笑话")
chain = prompt | chat

response = chain.invoke({"topic": "狗"})
print(response.content)