Lepton AI初体验

最新推荐文章于 2025-02-08 10:59:25 发布

程序员阿斌

最新推荐文章于 2025-02-08 10:59:25 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux运维 python 文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/C_0010/article/details/134408308

27 篇文章

订阅专栏

2 篇文章

订阅专栏

LeptonAI是一个由AI领域知名开发者贾杨清创立的平台，它简化AI应用构建，支持快速本地和云端部署。用户可以使用Docker风格命令创建和运行AI模型，如GPT2，但国内软件源可能需要额外处理网络问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

leptonai是贾杨清大佬今年下海创业的产品。贾杨清大佬是开源框架Caffe和PyTorch的主要贡献者，而且也是Tensorflow的贡献者之一，AI领域的同学应该都很熟悉他。

那么leptonai是什么呢？

Build AI
The Simple Way
Run AI applications efficiently, at scale, and in minutes with a cloud native platform.

这是官网的介绍“更简单的方式构建AI，分钟内高效大规模地再云原生平台运行AI应用”。

根据官网的“快速开始”步骤：
1、下载

pip install -U leptonai

下载完成终端输入lep --help看是否有返回判断是否安装成功！
在这里插入图片描述

2、构建应用

下面我们构建gpt2应用：

# 创建应用
lep photon create --name mygpt2 --model hf:gpt2
# 启动应用
lep photon run --name mygpt2 --local

熟悉docker的同学看到这里可能已经感觉到熟悉了，这不就是创建容器、启动容器吗？
在这里插入图片描述
上图可以看到已经部署成功了。下面使用http请求验证gpt2的回复能力：

可以看到得到了回复。

在这里插入图片描述

lepton还支持photon推送到云端部署，photon统一管理，查看模型运行情况。更多玩法参考官方文档！

python>=3.8，依赖缺啥补啥。
跑这次的demo的难点在网络。leptonai的包貌似国内软件源还没同步？leptonai依赖的其他包，例transformers国内软件源倒是有。在photon create的时候会需要上huggingface.co下载模型，访问同样会超时。