phosphobot开源程序是控制您的 SO-100 和 SO-101 机器人并训练 VLA AI 机器人开源模型

​一、软件介绍

文末提供程序和源码下载

       phosphobot开源程序是控制您的 SO-100 和 SO-101 机器人并训练 VLA AI 机器人开源模型。

二、Overview 概述

  • 🕹️ Control your robot with the keyboard, a leader arm, a Meta Quest headset or via API
    🕹️ 使用键盘、引导臂、Meta Quest 耳机或通过 API 控制您的机器人
  • 📹 Teleoperate robots to record datasets in LeRobot dataset format
    📹 远程作机器人以 LeRobot 数据集格式记录数据集
  • 🤖 Train action models like ACT, gr00t n1 or Pi0
    🤖 训练 ACT、gr00t n1 或 Pi0 等动作模型
  • 🔥 Use action models to control robots
    🔥 使用动作模型控制机器人
  • 💻 Runs on macOS, Linux and Windows
    💻 可在 macOS、Linux 和 Windows 上运行
  • 🦾 Compatible with the SO-100, SO-101, WX-250 and AgileX Piper
    🦾 与 SO-100、SO-101、WX-250 和 AgileX Piper 兼容
  • 🔧 Extend it with your own robots and cameras
    🔧 用你自己的机器人和相机来扩展它

三、Getting started 开始

安装 phosphobot 服务器

# Install it this way
curl -fsSL https://raw.githubusercontent.com/phospho-app/phosphobot/main/install.sh | bash
# Start it this way
phosphobot run
# Upgrade it with brew or with apt
# sudo apt update && sudo apt install phosphobot
# brew update && brew upgrade phosphobot

让你的机器人第一次动起来!

Go to the webapp at YOUR_SERVER_ADDRESS:YOUR_SERVER_PORT (default is localhost:80) and click control.
转到 YOUR_SERVER_ADDRESS:YOUR_SERVER_PORT web应用程序 (默认为 localhost:80 ),然后单击 control。

You will be able to control your robot with:
您将能够通过以下方式控制您的机器人:

  • the keyboard 键盘
  • a leader arm 引导臂
  • a Meta Quest if you have the phospho teleop app
    Meta Quest(如果您有 phospho teleop 应用程序)

训练行动模型

To train an action model on the dataset you recorded, you can:
要在您记录的数据集上训练作模型,您可以:

  • train a model directly from the phosphobot webapp (see this tutorial)
    直接从 PhosphoBot Web 应用程序训练模型(请参阅本教程)
  • use your own machine (see this tutorial to finetune gr00t n1)
    使用您自己的机器(请参阅本教程以微调 GR00T N1)

In both cases, you will have a trained model exported to huggingface.
在这两种情况下,您都会将经过训练的模型导出到 huggingface。

四、 使用模型控制您的机器人

Now that you have a trained model hosted on huggingface, you can use it to control your robot either:
现在,您已经在 huggingface 上托管了一个经过训练的模型,您可以使用它来控制您的机器人:

  • directly from the webapp
    直接从 Web 应用程序
  • from your own code using the phosphobot python package (see this script for an example)
    使用 Phosphobot Python 包从您自己的代码中(有关示例,请参阅此脚本)

Examples 例子

The examples/ directory is the quickest way to see the toolkit in action. Check it out! Proud of what you build? Share it with the community by opening a PR to add it to the examples/ directory.
目录 examples/ 是查看 Toolkit 运行情况的最快方式。一探究竟!为自己构建的东西感到自豪?通过打开 PR 将其添加到 examples/ 目录中,与社区共享它。

Advanced Usage 高级用法

You can directly call the phosphobot server from your own code, using the HTTP API and websocket API.
您可以使用 HTTP API 和 websocket API 从自己的代码中直接调用 phosphobot 服务器。

Go to the interactive docs of the API to use it interactively and learn more about it. It is available at YOUR_SERVER_ADDRESS:YOUR_SERVER_PORT/docs. By default, it is available at localhost:80/docs.
转到 API 的交互式文档以交互方式使用它并了解更多信息。可在 上找到 YOUR_SERVER_ADDRESS:YOUR_SERVER_PORT/docs 。默认情况下,它位于 localhost:80/docs 。

We release new versions very often, so make sure to check the API docs for the latest features and changes.
我们经常发布新版本,因此请务必查看 API 文档以了解最新功能和更改。

Supported Robots 支持的机器人

We currently support the following robots:
我们目前支持以下机器人:

  • SO-100 SO-100 系列
  • SO-101 SO-101 型
  • WX-250 by Trossen Robotics (beta)
    Trossen Robotics 的 WX-250(测试版)
  • AgileX Piper (beta) AgileX Piper (测试版)

See this README for more details on how to add support for a new robots or open an issue.
有关如何添加对新机器人的支持或打开问题的更多详细信息,请参阅此自述文件。

五、软件下载

夸克网盘分享

本文信息来源于GitHub作者地址:GitHub - phospho-app/phosphobot: Control your SO-100 and SO-101 robot and train VLA AI robotics models

### VLA机器人控制中的作用 视觉-语言-动作(Vision-Language-Action, VLA模型是一种融合了计算机视觉、自然语言处理机器人学的技术框架,其核心目标是使机器人能够理解人类的语言指令将其转化为具体的物理行为。VLA 技术的发展显著提升了机器人的灵活性适应能力。 #### 1. **VLA 的基本功能** VLA 模型通过结合预训练的视觉语言模型 (Visual Language Model, VLM) 特定于机器人的动作模块,实现了从感知到行动的端到端映射[^2]。这种架构允许机器人接收自然语言输入,根据上下文生成相应的动作序列。例如,在 Helix 控制技术中,VLA 被用来实现对整个上半身的高度协调控制,包括手腕、躯干、头部甚至单个手指的动作[^1]。 #### 2. **VLA机器人控制中的具体应用** ##### (1)**通用任务执行** 借助 VLA 模型机器人可以完成多种复杂任务而无需针对每种任务重新设计控制系统。例如,Pi0 使用了一个跨体现的数据集来学习不同类型的灵巧操作技能,通过添加一个专门的动作专家模块来优化这些技能的表现[^3]。这使得 Pi0 可以轻松应对诸如抓取物体、打门或堆叠物品等多样化场景。 ##### (2)**基于提示的任务推理** VLA 不仅限于简单的命令跟随;它还支持更高级别的认知活动,比如基于提示的任务推理。这意味着当用户提供一段描述性的文字说明时,机器人可以根据自己的经验库推断出如何完成这项工作。这种方法特别适合那些未被明确编程过的新型挑战情境。 ##### (3)**动态环境下的实时响应** 由于采用了流匹配算法生成连续平滑的动作轨迹,即使面对不断变化的情况,装备有先进 VLA 系统的设备也能保持稳定高效的性能表现。这对于需要快速反应的应用场合尤为重要,如搜救作业或是生产线上的质量检测环节。 #### 3. **未来发展方向与潜力** 随着研究深入技术进步,预计未来的 VLA 将更加注重以下几个方面: - 提高泛化能力鲁棒性; - 减少对于大量标注数据依赖程度的同时提升效率; - 推动多模态交互方式创新以便更好地服务于人类社会需求。 ```python def vla_robot_control(task_description): """ Simulates a basic function of how an advanced robot might use VLA to interpret and execute tasks. Args: task_description (str): A natural language string describing the desired action. Returns: str: Feedback indicating success or failure after attempting execution based on input description. """ vl_model_output = process_language_and_vision_data(task_description) continuous_actions = generate_smooth_action_sequence(vl_model_output) try_execute(continuous_actions) return "Task executed successfully!" if verify_outcome() else "Failed to perform requested operation." ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值