之前有段时间,网上对于AI大模型比较9.9和9.11那个大的问题,引发了一波大众对AI大模型的质疑。
当你了解LLM的原理后,就知道背后的原因是因为LLM本身不具备数学能力而导致的,它只能进行文本预测。
那么当在使用LLM构建应用程序时,LLM本身又不具备某些能力时,该怎么办呢?
这时候,就涉及到工具的使用了。例如用户和你的智能客服进行订单状态咨询时,你需要LLM能够借助sql语句来查询你的数据库,然后回复用户等。
目前市场上大部分的LLM提供的工具服务,主要分2种类型:工具函数,和插件工具。
-
工具函数:用户根据自己项目的需要,通过自定义函数来实现一系列能力的扩展。
-
插件:开发者可以基于自己的API服务构建插件,可上架到GPTSstore中,供第三方使用。
虽然这2种方式有很多地方很像,但是终归是不同的发展定位。工具函数,更像是LLM平台提供的一种扩展,而这个扩展能力仅得使用方自己来开发且无法向外推广。
而类似于GPTs的插件工具,则是一种生态的构建,插件开发好之后即可以自己用,也可以上架到GPTstore中供第三方使用。在国内,虽然没有插件市场,但是却形成了类似于扣子的智能体市场,提倡Agent即服务的思想。
不管是工具函数、插件、还是智能体平台,都是在不断扩大LLM的能力边界,虽然目前GPTs发展的并不理想,但是从长远发展来看,这3个因其定位不同,都有很大的市场空间。
目前GPT Store仅对Plus会员开放,因其中智能体的同质化严重,用户槽点较多,可能短时间很难发展起来,所以这里我们就先不考虑插件这种方式
我们以kimi为例,来介绍它的函数工具。如果不嫌麻烦的话,可以直接查看官方的API文档:https://platform.moonshot.cn/docs/api/tool_use
在工具的使用上,kimi一方面支持自定义函数工具,另一方面也提供了最常用,联网搜索的内置工具($web_search),不过这个内置的联网搜索工具函数除了额外的Tokens消耗外,还需再收取一次调用费用,价格为 ¥0.03/次。
我们这里主要介绍一下,Kimi的自定义函数工具,国内其他的LLM所提供的函数工具,基本上也都差不多。整体流程如下
也可以直接看下面这张图,逻辑都是一样的。
那么工具