「精彩回顾」Triton Meetup 北京站！

2023 年 2 月 25 日下午，蚂蚁集团与 NVIDIA 在北京 BCos 共享办公举办了“Triton Meetup 2023”，活动对推动模型推理领域发展具有里程碑意义。

本次活动专注于 AI Infra、推理引擎相关的主题分享，打造 Triton 社区开放共享的技术生态，共同推进 NVIDIA Triton Inference Server 在国内的推广和应用落地。

接下来，让我们一同回顾活动现场的精彩瞬间吧～

为了让大家更好地了解 Triton 社区，来自 NVIDIA 的解决方案架构师——申意，带来了题为“NVIDIA Triton Inference Server 的现在和未来”的分享。让大家知道了 Triton 的重要 Feature 简介和 Roadmap 更新，以及 Triton 的成功案例。

在让观众初步了解 Triton 社区后，蚂蚁集团高级技术专家——龚明亮，带来了“Triton 在蚂蚁全场景落地优化”的分享。他耐心地为大家讲解了 Triton 在搜索、推荐、广告业务场景和认知业务的解决方案，以及结合了业务场景后，在蚂蚁进一步的优化方案。

为了将蚂蚁多模型推理积累的优化回馈社区，合作建设更好的开源推理服务、活跃技术生态，蚂蚁集团和 NVIDIA Triton 社区合作正式启动，双方将建立合作开发小组，定期进行技术交流，共同贡献 Triton 代码库和建设社区周边生态，携手打造开放活跃的 Triton 开源社区！

蚂蚁集团会把已有的基于 Triton Server 的优化改进提交 PR，merge 到社区，并将和 NVIDIA 联合建立技术 Blog，沉淀 Triton 技术文章，活跃技术生态。

一个开放的技术生态欢迎任何优秀开发者的广泛参与。本次活动，还有幸邀请到了美团机器学习平台预测引擎团队的技术负责人——王新，给大家分享了“Triton 在美团数据中心的应用”。

美团在解决了机器学习模型在美团落地的痛点后，量身定制了 Triton 落地的具体方案。原来，使用 Triton 后的业务收益与效果竟如此之高！

京东面临的问题与美团又有所差别。他们在内容理解、风控、知识图谱等场景的多元化算法需求给模型推理带来了很大的技术挑战。来自京东的零售算法中台技术架构师——杨培军，分享了“Triton 在京东九数高性能推理引擎的应用与实践”。

在他的分享中，介绍了京东算法中台在面向 CV/NLP 场景基于 Triton 二次开发的高性能推理框架，并且结合典型业务场景模型推理落地实践，与大家阐述了推理框架的架构演进和性能优化工作。

AI 算法持续演进，应用场景不断丰富，高效稳定的 AI 推理服务是将 AI 模型转换为企业生产力的重要环节。在最后的圆桌讨论环节，大家围绕 “AI 推理服务的当下与未来”这一话题进行了激烈的讨论。

本次活动特邀嘉宾：蔚来自动驾驶研发平台（NADP）资深工程师——郭城老师（下图右二）、AI Infra 领域技术专家饶星老师（下图左一），与参与本次活动议题分享的一众讲师，纷纷提出了各自的观点。

在 Triton Meetup 2023 现场，大家热情高涨，圆桌会议结束之后，彼此之间思维的碰撞并没有就此停歇，场内的小伙伴也在积极吸收并分享自己的观点！

我们充分感受到了大家对 Triton 以及 AI 推理服务领域的热情， 感谢大家的参与！Triton Meetup 也会在下一个城市期待与你相遇！

了解更多...

本次活动分享环节的 PPT，已为大家上传整理，感兴趣的伙伴欢迎点击下方“AI Infra”公众号名片进行关注并私信 “Triton”，即可获取回复哦～