使用Javelin AI Gateway的教程

最新推荐文章于 2025-05-05 14:07:50 发布

asdfghiuus

最新推荐文章于 2025-05-05 14:07:50 发布

阅读量277

点赞数 3

文章标签：人工智能 gateway python

本文链接：https://blog.youkuaiyun.com/asdfghiuus/article/details/144773885

版权

# 使用Javelin AI Gateway的教程

老铁们，今天我们来聊聊如何通过Python SDK与Javelin AI Gateway交互。这款Javelin AI Gateway简直就是为我们这些热爱AI技术应用的开发者量身打造的，利用大型语言模型（LLM）比如OpenAI、Cohere、Anthropic等的同时，帮助我们提供一个安全且统一的访问点。官方文档里详细说明了其提供的企业级访问安全、策略和成本控制功能，如果大家感兴趣可以去 [Javelin 官方网站](https://www.getjavelin.io) 查看完整的功能列表。

## 第一步：介绍

Javelin AI Gateway是一个企业级别的API网关，专为AI应用设计。它在与大型语言模型交互时提供了强大的访问安全性保障。想了解更多的话, 请参考 [官方文档](https://www.getjavelin.io)。

## 第二步：安装

在开始之前，咱们先安装 `javelin_sdk` 并将Javelin API密钥设置为环境变量。

```bash
pip install 'javelin_sdk'

备注：如果你看到类似于 “Requirement already satisfied” 的提示，说明你的环境已经安装了这些包。安装完成后可能需要重启内核来使用更新后的包。

第三步：文本补全示例

接下来，咱们通过一个简单的示例来看看如何借助Javelin AI Gateway获得大型语言模型的文本补全服务。以下是一个Python脚本（假设你在网关中已经设置了一个名为 ‘eng_dept03’ 的路由）：

from langchain.chains import LLMChain
from langchain_community.llms import JavelinAIGateway
from langchain_core.prompts import PromptTemplate

route_completions = "eng_dept03"

gateway = JavelinAIGateway(
    gateway_uri="http://localhost:8000",  # 用实际的服务URL或Javelin的主机/端口替换
    route=route_completions,
    model_name="gpt-3.5-turbo-instruct",
)

prompt = PromptTemplate("Translate the following English text to French: {text}")

llmchain = LLMChain(llm=gateway, prompt=prompt)
result = llmchain.run("podcast player")

print(result)

注意：在实际操作中，我们需要确认模块路径和导入的正确性，因为可能会出现模块导入错误，大家可以根据自己的环境调整。

第四步：嵌入示例

现在来看看如何使用Javelin AI Gateway为文本查询获取嵌入。以下代码同样假设你已经在网关中设置了一个名为 ‘embeddings’ 的路由：

from langchain_community.embeddings import JavelinAIGatewayEmbeddings

embeddings = JavelinAIGatewayEmbeddings(
    gateway_uri="http://localhost:8000",  # 用实际的服务URL或Javelin的主机/端口替换
    route="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

第五步：聊天示例

最后，我们来看看如何使用Javelin AI Gateway进行一个简单的聊天示例（假设你设置了一个名为’mychatbot_route’ 的路由）。

from langchain_community.chat_models import ChatJavelinAIGateway
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Artificial Intelligence has the power to transform humanity and make the world a better place"
    ),
]

chat = ChatJavelinAIGateway(
    gateway_uri="http://localhost:8000",  # 替换为服务URL或Javelin的主机/端口
    route="mychatbot_route",
    model_name="gpt-3.5-turbo",
    params={"temperature": 0.1},
)

print(chat(messages))