React Native ExecuTorch 开发指南

React Native ExecuTorch 开发指南

react-native-executorch Declarative way to run AI models in React Native on device, powered by ExecuTorch. 项目地址: https://gitcode.com/gh_mirrors/re/react-native-executorch

1. 项目介绍

React Native ExecuTorch 是由 Software Mansion 开发的一个开源项目，旨在为 React Native 提供一种声明式的方法来在设备上运行 AI 模型。该项目基于 ExecuTorch 框架，这是一个由 Meta 创建的新型框架，使得 AI 模型能够在如手机或微控制器等设备上运行。React Native ExecuTorch 架起了 React Native 与原生平台能力之间的桥梁，允许开发者在本地的移动设备上以最先进的性能运行 AI 模型，而无需深入了解原生代码或机器学习内部机制。

2. 项目快速启动

以下是快速启动 React Native ExecuTorch 的步骤：

首先，安装 React Native ExecuTorch 包：

yarn add react-native-executorch

接着，如果你的项目是基于新架构的 React Native，在你的组件文件中添加以下代码：

import {
  LLAMA3_2_3B_QLORA,
  LLAMA3_2_3B_TOKENIZER,
  useLLM,
} from 'react-native-executorch';

function MyComponent() {
  // 初始化模型
  const llama = useLLM({
    modelSource: LLAMA3_2_3B_QLORA,
    tokenizerSource: LLAMA3_2_3B_TOKENIZER,
  });

  // 在组件中其他位置使用模型
  const handleGenerate = async () => {
    const prompt = '生活的意义是';
    // 基于提示生成文本
    const response = await llama.generate(prompt);
    console.log('Llama says:', response);
  };

  // ...组件的其他代码
}

3. 应用案例和最佳实践

React Native ExecuTorch 提供了几个示例应用，展示了库的使用案例：

• speech-to-text：展示了 Whisper 和 Moonshine 模型用于转录任务。
• computer-vision：涉及计算机视觉相关任务。
• llama：展示了聊天应用中使用 LLM（大型语言模型）的情况。

要运行这些示例，可以导航到相应示例应用的目录，安装依赖，然后运行：

yarn
cd ios
pod install
cd ..
yarn expo run:android  # 或者
yarn expo run:ios

请注意，运行大型语言模型需要大量内存。如果遇到应用崩溃，尝试增加模拟器分配的内存。

4. 典型生态项目

React Native ExecuTorch 是一个不断发展的项目，其生态系统包括但不限于以下项目：

• react-native-executorch/executorch-llama-export：用于导出 Llama 模型的工具。

React Native ExecuTorch 使用多种编程语言实现，包括 Objective-C++、Kotlin、TypeScript 等，并且拥有一支活跃的贡献者社区。其开源许可证为 MIT License，欢迎开发者参与贡献和改进项目。

react-native-executorch Declarative way to run AI models in React Native on device, powered by ExecuTorch. 项目地址: https://gitcode.com/gh_mirrors/re/react-native-executorch