开源 7 天,斩获 2.2 万 Star

点击上方“芋道源码”,选择“设为星标

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:OSC开源社区(ID:oschina2013)


除了大力投资 Open AI ,微软还亲自下场大搞 AI 。8 天前,微软开源了 Visual ChatGPT ,这个软件可以连接 ChatGPT 和一系列视觉模型,以实现在 ChatGPT 的聊天过程中发送和接收图像

众所周知,尽管 ChatGPT 的功能非常强大,甚至可以用来写小说写论文,但目前也仅限于文字交流。

Visual ChatGPT 的出现,就像在以文字交流的 APP 中首次添加了表情包功能,而且还是根据用户输入的文本自动生成的 “定制化表情包”,大大提升了 ChatGPT 的趣味性和应用领域。

d9852e9d7035c11d161e8ab3487ff964.gif

一方面,ChatGPT(或 LLM)充当通用界面,提供对图像的理解和用户的交互功能。另一方面,基础图像模型通过提供特定领域的深入知识来充当背后的技术专家。

仓库中列出了技术架构及原理图:

7ccbb551f380d2def5244b73a345ec9a.jpeg

Demo 中共进行了三种不同类型的对话,分别是 Visual ChatGPT 接收 用户的图像、Visual ChatGPT 根据用户的文本修改图像并发送 给用户,以及 Visual ChatGPT 识别图片 ,并回答用户的提问。Visual ChatGPT 会根据用户的输入,判断是否需要使用 VFM (Visual Foundation Model,视觉基础模型)来处理该问题。

仓库中还给出了 Visual ChatGPT 所使用的图像模型和显存使用情况:

8ea533e0fa8330b727f7611194e5aaea.png

更详细的内容可以阅读 Visual ChatGPT 的 arxiv 论文:https://arxiv.org/abs/2303.04671

Visual ChatGPT 在 3 月 10 日发布,截至 3 月 16 日早 15 点,该项目已暂获 21.9K Stars ,可谓是火箭式上涨。

d21a9d224d70f5179b5ffa178155906c.png

相关链接:https://github.com/microsoft/visual-chatgpt


基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

68f248cebc365c340463d4ae11a6f8ad.png

已在知识星球更新源码解析如下:

24388a716af86bd4778b7031baa632ee.jpeg

87a4733a8fcf84c5dc3c6e9b6f00e269.jpeg

2544bee368ebfa6a87a05f2fe6373bca.jpeg

b25bbad3620bdc3518d430b60ac817e6.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值