12、Docker与AI、Wasm的融合应用实践

Docker与AI、Wasm的融合应用实践

1. Docker与AI的结合

1.1 DMR命令解析

使用 curl 命令与DMR交互时，其目标是DMR的 /engines/v1/chat/completions 端点。若DMR有多个运行时，可在基础路径和API版本之间指定特定运行时，例如调用 llama.cpp 运行时的路径为 /engines/llama.cpp/v1/chat/completions 。 -d 标志用于指定请求体中要发送的数据，包含以下内容：
- model ：所需模型的名称。
- messages ：包含系统提示（要求模型给出简短答案）和用户问题提示。
- temperature ：告知模型的创新程度（通常在0 - 1之间，0表示可预测，1表示非常有创意）。
- max_tokens ：限制响应的长度。

1.2 使用Compose部署基于DMR的聊天机器人应用

1.2.1 环境要求

需要Docker Desktop v4.41或更高版本，并启用Docker Model Runner。

1.2.2 应用架构

该应用是一个多层应用，包含三个服务：
- frontend ：聊天界面。
- backend