LiteRT-LM：高效跨平台语言模型运行库

LiteRT-LM：高效跨平台语言模型运行库

LiteRT-LM 项目地址: https://gitcode.com/gh_mirrors/li/LiteRT-LM

项目介绍

LiteRT-LM 是一个基于 C++ 开发的库，旨在为边缘平台提供高效的语言模型运行能力。随着语言模型逐渐从单一模型转变为多个模型和组件协同工作的管道，LiteRT-LM 在 LiteRT 的基础上，提供了如下功能：

• C++ API：高效运行语言模型。
• 跨平台支持：通过便携式 C++ 代码，实现广泛的部署场景。
• 灵活性：可根据特定需求进行自定义。
• 硬件加速：充分利用设备的硬件性能。

该项目目前处于早期预览阶段，预计在今年夏末秋初发布完整版本。

项目技术分析

LiteRT-LM 通过使用 C++ API 提供了跨平台的语言模型运行能力。它支持多种后端和平台，包括 Android、macOS、Windows、Linux 以及嵌入式设备。这意味着开发者可以在多种设备上部署和运行语言模型，从而满足不同场景下的需求。

在模型支持方面，LiteRT-LM 目前支持 Gemma3-1B、Gemma3n-E2B 和 Gemma3n-E4B 等模型，并提供量化版本以减小模型大小，提高运行效率。以下是一些性能数据：

| 模型 | 设备 | 后端 | 预填充 (tokens/sec) | 解码 (tokens/sec) | |-------------|-----------------|------|---------------------|-------------------| | Gemma3-1B | Macbook Pro (2023 M3) | CPU | 603.8 | 83.0 | | Gemma3-1B | Samsung S24 (Ultra) | CPU | 379.7 | 55.9 | | Gemma3-1B | Samsung S24 (Ultra) | GPU | 2369.0 | 52.5 | | Gemma3n-E2B | Macbook Pro (2023 M3) | CPU | 232.5 | 27.6 | | Gemma3n-E2B | Samsung S24 (Ultra) | CPU | 110.5 | 16.1 | | Gemma3n-E2B | Samsung S24 (Ultra) | GPU | 816.4 | 15.6 | | Gemma3n-E4B | Macbook Pro (2023 M3) | CPU | 170.1 | 20.1 | | Gemma3n-E4B | Samsung S24 (Ultra) | CPU | 73.5 | 9.2 | | Gemma3n-E4B | Samsung S24 (Ultra) | GPU | 548.0 | 9.4 |

这些数据表明，LiteRT-LM 能够在不同设备上提供可观的性能，尤其是在启用 GPU 加速的情况下。

项目技术应用场景

LiteRT-LM 的设计使其适用于多种场景，包括但不限于：

• 移动设备：在智能手机、平板电脑等移动设备上运行语言模型，为用户提供即时响应的自然语言处理能力。
• 嵌入式系统：在 Raspberry Pi 等嵌入式设备上部署，用于物联网、智能家居等场景。
• 桌面应用：在桌面操作系统上提供高效的语言模型运行能力，适用于办公自动化、文本分析等应用。
• 边缘计算：在边缘节点上部署语言模型，减少对云服务的依赖，提高数据处理速度和安全性。

项目特点

1. 跨平台支持：支持包括 Android、macOS、Windows、Linux 在内的多种平台，为开发者提供了极大的灵活性。
2. C++ API：使用 C++ 进行开发，提供了高性能和易于集成的优势。
3. 硬件加速：支持 GPU 加速，充分利用现代设备的硬件性能，提高运行效率。
4. 灵活配置：可根据需求自定义模型和组件，满足特定场景的需求。

LiteRT-LM 的出现，为语言模型在边缘平台的应用提供了新的可能，无论是移动设备、嵌入式系统还是桌面应用，都可以通过 LiteRT-LM 实现高效的语言模型运行。随着项目的不断发展和完善，我们有理由相信，LiteRT-LM 将成为边缘计算领域的重要工具。

LiteRT-LM 项目地址: https://gitcode.com/gh_mirrors/li/LiteRT-LM