【续】开发triton客户端，访问clip-vit-large-patch14模型抽取图片特征。

棉花糖_码农夜读

已于 2025-01-26 06:45:33 修改

阅读量918

点赞数 11

文章标签：计算机视觉 tensorflow 深度学习架构 restful golang

于 2025-01-25 06:44:19 首次发布

本文链接：https://blog.youkuaiyun.com/liupenglove/article/details/145349216

版权

首先，这篇文章是上篇：使用tritonserver完成clip-vit-large-patch14图像特征提取模型的工程化的一个续，在上一篇中，我们使用triton完成了openai开源抽取图像特征模型的工程化，今天这篇是开发triton客户端，通过http/grpc访问该模型，以实现图像特征的提取。

详解模型配置

name:"clip-vit-large-patch14"
backend:"python"
input [
	{
		name:"INPUT0"
		data_type: TYPE_FP32
		dims: [3,-1,-1]
	}
]
output[
	{
		name:"OUTPUT0"
		data_type: TYPE_FP32
		dims: [ 768 ]
	}
]

instance_group[{ kind: KIND_CPU }]

name：模型名称，客户端请求时，模型名称要与该字段严格一致。

backend：设置模型的backend类型。

input：设置模型输入参数，包括输入名称、数据类型，数据维度，我们预期的配置图片不限大小，3通道，数据类型是fp32。

output：同input。

instance_group：模型运行设备，cpu或者gpu，本次我们将模型跑在cpu上。

编写triton client

import sys
 
import numpy as np
import tritonclient.http as httpclient
from tritonclient.utils import *
from PIL import Image
import os
 
model_name = "clip-vit-large-patch14"

 
with httpclient.InferenceServerClient("192.168.3.29:8000") as client:
    # 获取当前文件的绝对路径
    current_file_path = os.path.abspath(__file__)
    # 获取当前文件所在的目录
    current_directory = os.path.dirname(current_file_path)
    image_path = current_directory + "/dog.11002.jpg"
    # 打开图片文件
    pil_image = Image.open(image_path)
    # 将PIL图像转换为numpy数组,并转换为float32类型
    input0_data = np.array(pil_image).astype(np.float32)
    # 创建输入数据
    inputs = [
        httpclient.InferInput(
            "INPUT0", input0_data.shape, np_to_triton_dtype(input0_data.dtype)
        ),
    ]
    # 设置输入数据
    inputs[0].set_data_from_numpy(input0_data)
    outputs = [
        httpclient.InferRequestedOutput("OUTPUT0"),
    ]
    # 执行推理
    response = client.infer(model_name, inputs, request_id=str(1), outputs=outputs)
    # 获取响应结果
    result = response.get_response()
    output0_data = response.as_numpy("OUTPUT0")
    print(
        "OUTPUT0 ({})".format(output0_data)
    )
    print("PASS: clip-vit-large-patch14 test passed")
    sys.exit(0)

启动调试

triton客户端有依赖，最简单的方式就是在triton的客户端镜像中执行，启动镜像：

docker run --rm -it -v /Users/liupeng/Documents/career/career/:/models nvcr.io/nvidia/tritonserver:24.12-py3-sdk

启动时，将client代码映射到镜像内。

执行client脚本：

python3 /models/triton_client/client.py

client脚本被映射到了镜像内的/models路径下。

我们发现有个报错，意思就是期望的数据维度是[3,-1,-1]，而我们请求的数据维度是[375,499,3]，那就修改下模型配置为：[-1,-1,3]，即不限制宽高，3通道，重新执行：

结果还有报错，不过报错变了，这次是backend侧的报错，提示的是模型的输入数据格式错误，输入数据格式是：c_python_backend_utils.Tensor，模型无法识别，模型侧的代码如下：

in_0变量的类型为triton中的自定义类型，transformers是识别不了的，那它能接收什么类型的数据呢？有这些：PIL.Image.Image, numpy.ndarray, torch.Tensor, tf.Tensor or jax.ndarray，我们可以将模型输入修改为ndarray类型，修改模型代码：

inputs = self.processor(images=in_0.as_numpy(), return_tensors="pt")

重启模型，继续debug：

大功告成。

到这，使用triton完成了模型的工程化，搭建了支持http、grpc的server，又使用triton完成客户端的开发，这样完整的一套ai算子搭建完成。