火山引擎发布大模型训练云平台

火山引擎在“原动力大会”上推出了自研DPU和新版机器学习平台,该平台支持大规模模型训练和低延迟网络,旨在促进AI大模型的发展和各行业的智能化升级。同时,WPS宣布即将推出“WPSAI”,进一步涉足AI领域。

162fa8b377090006fa2c892f5d055fc8.gif

4月18日,火山引擎在其举办的“原动力大会”上发布自研DPU(数据处理器)等系列云产品,并推出新版机器学习平台:支持万卡级大模型训练、微秒级延迟网络,让大模型训练更稳更快。

火山引擎总裁谭待称,AI(人工智能)大模型有巨大潜力和创新空间,火山引擎会服务客户做好大模型,共同推动各行业的智能化升级。

462b458be50a19fa317206600ca743d3.gif

☞3 亿岗位或被取代?程序员躺枪,多个行业迎来新时代!
☞全球最大的 ChatGPT 开源替代品来了,支持 35 种语言,网友:不用费心买 ChatGPT Plus了!
☞WPS 宣布将推出“WPS AI”
火山引擎大模型平台主要提供了一系列工具和接口,以支持开发者和企业快速构建、部署和管理AI模型。关于如何在火山引擎大模型中集成或调用外部模型,目前火山引擎主要围绕其自身的大模型服务进行封装和支持,但在某些场景下也支持用户自定义模型的部署和调用。 如果希望将外部训练好的模型集成到火山引擎的推理服务中,通常可以通过以下方式进行: 1. **模型部署为服务**:用户可以将自己训练完成的模型打包为推理服务,并部署在火山引擎的云原生环境中。这通常涉及将模型转换为支持的格式(如ONNX、TensorFlow Serving、PyTorch TorchScript等),并编写相应的推理服务代码,用于接收请求并返回推理结果。 2. **自定义推理服务**:火山引擎支持用户通过容器化方式部署自定义推理服务。用户可以使用Docker镜像将模型及其依赖环境打包,并通过火山引擎的容器服务进行部署。部署完成后,可以通过API接口调用该模型服务。 3. **与大模型服务集成**:如果希望将外部模型与火山引擎大模型服务进行联合推理(例如,作为大模型推理流程中的一个子模块),则可以通过构建自定义的推理管道,将多个模型服务串联或并联处理。火山引擎的API设计支持灵活的集成能力,允许开发者将多个模型服务组合使用。 4. **使用SDK进行本地调用**:对于某些需要在本地运行的模型,火山引擎也提供了SDK支持。用户可以在本地环境中加载外部模型,并通过SDK提供的接口与火山引擎大模型服务进行交互。例如,可以先在本地进行预处理或后处理,再调用云端的大模型服务。 以下是一个简单的Python代码示例,展示如何使用火山引擎的SDK进行客户端初始化,并设置自定义的推理服务地址,这可以用于调用部署在火山引擎平台上的模型服务: ```python import os from volcenginesdkarkruntime import Ark # 设置API Key和自定义推理服务地址 os.environ["ARK_API_KEY"] = "your_api_key" custom_base_url = "https://your-custom-model-service.com/api/v1" # 初始化客户端 client = Ark( api_key=os.environ.get("ARK_API_KEY"), base_url=custom_base_url, timeout=120, max_retries=2 ) # 调用外部模型服务 response = client.invoke("your_model_endpoint", input_data={"prompt": "Hello, world!"}) print(response) ``` 通过上述方式,开发者可以将外部模型集成到火山引擎的AI服务生态中,并实现与大模型的联合使用。需要注意的是,具体实现细节可能因模型类型、部署环境和业务需求的不同而有所变化,建议参考火山引擎官方文档获取更详细的指导[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值