7 月 14 日 Jina AI 举办了首次面向中文社区用户的 Office Hours 活动,CTO 王楠带领工程师们分享了 Jina 全家桶的最新产品动态,本文为分享回顾。
没来得及参与本次 Office Hours 的小伙伴,可点击下方视频号,查看回放:
【Show Notes】
00:04 DocArray 更新
01:15 CLIP as service
03:10 Finetuner
03:20 JCloud
04:40 Jina NOW
06:00 DocsQA
07:07 Jina Hub
07:51 Discoart“一行代码的艺术”
关注 Jina AI 公众号,后台回复【OH】,获取完整 PPT,了解 Jina 生态。
DocArray
支持向量搜索 + 过滤器
支持 MangoDB 的过滤语法
从 API 层面去支持了不同的向量索引,如 Elasticsearch,Qdrant 等
详见:https://docarray.jina.ai/advanced/document-store/
CLIP as service
用 Jina 重构了原 BERT as service 的底层代码
基于 Helm Chart 便于 kubernetes 的部署,并提供 Grafana 监控
提供 SaaS 服务,只需提供数据,由云端完成模型微调
基于 Zero-shot learning 的图像推理,可以快速搭建一套自动分类系统
Finetuner
提供 Finetuner SaaS 服务客户端
JCloud
生产环境下可用的免费托管服务
支持 Grafana 监控
Jina NOW
支持 JCloud 部署
提供更多任务模版,如用音乐搜索音乐
DocsQA
快速为文档构建问答机器人
整理、汇总社区问题,积累社区知识
目前已部署在 Jina 全家桶文档网站,与 FastAPI、Kornia 等多个开源项目。
现在开放对外公测,打开链接试试看!https://jina.ai/docsQA-console/
Jina Hub
优化 Sandbox 使用体验
自动生成 Executor 的使用代码
DiscoArt
一行代码的艺术
repo:https://github.com/jina-ai/discoart
Q&A
CLIP 模型的 Finetuner 方法,以及效果如何
答:优化效果如图所示。
方法详见:https://finetuner.jina.ai/tasks/text-to-image/
2. 怎么样去对模型进行推断加速,尤其是大模型和生成模型
答:一方面是基于框架,Jina 生态靠 Jina 所提供的分布式框架,支持每个 executor 的服务是异步,非堵塞的,尽可能地从框架的工程角度来增加系统的推送量。
另一方面是基于模型,目前业界采用较多的是使用更高算力。出于成本考虑,也可以做模型的转换,如把 PyTorch 的模型转到 ONNX 格式。模型转化的步骤,原是需要用户自己来完成的。对于目前热门的 CLIP 模型,Jina 已经提前转码好了,就在 CLIP as service 里,用户可以直接使用。并且,我们还采用了 TensorRT 后端用于快速推理。
repo:https://github.com/jina-ai/clip-as-service
3. Jina 和 Elasticsearch 如何配合使用?
答:在底层数据方面,现在 Jina 支持有不同的存储后端,如 ES,Qdrant,Weaviate 等。可以通过 DocArray 将原生数据直接存入 ES 里,并且支持 ES 的向量搜索。也可以把数据从 ES 导出到 DocArray 里来。
在上层应用:考虑到用户的迁移成本,所以也将支持在 ES 上搭建整套 Jina 全家桶服务,敬请期待。社区用户们希望想要更便捷地使用 ES 里面哪些功能,可以在社区里提建议。在评估建议的可行性后,我们将尽可能地争取把这些功能集成到产品里去。
加入 Jina 全球社区:slack.jina.ai
神经搜索、深度学习、推荐系统
教程、Demo、干货分享
扫码备注加入讨论组
更多精彩内容(点击图片阅读)