xindoo

过将视频拆分为关键帧并使用GPT-4o进行分析，可以实现对视频内容的解读。该方法包括提取视频帧、将其转换为base64编码，并利用GPT-4o生成详细的剧情描述。实验结果表明，该方法有效且展示了GPT-4o在多模态任务中的能力。

通过这篇文章，我们了解了OpenAI结构化输出的基本用法，并深入探讨了其可能的实现原理。希望这些内容对大家有所帮助。结构化输出功能无疑是AI与现有系统对接的关键依赖，因为目前所有系统的输入都有特定的格式要求。在没有结构化输出能力之前，我们不得不使用各种奇技淫巧来完成数据格式化。显然，有了结构化输出，这部分工作就会简单得多。不过，我还要提醒大家一点：不要把结构化输出当成万能工具。俗话说，“拿着锤子看什么都像钉子”，可别落入这个陷阱。

那么接下来的问题就是如何让GPT能够查询和操作这个表了。这里我们直接使用了LangChain的@tool装饰器，讲schedules表的基本操作设置为GPT可以识别的接口，当然使用OpenAI的纯原始接口也是可以实现的（参加我之前的文章OpenAI的多函数调用）,就是代码量相对会多很多。具体的代码如下，这里我定义了对schedules表的增、删、查的功能。""" 连接到数据库 """@tool""" 新增日程，比如2024-05-03 20:00:00, 周会 """@tool。

由于文章篇幅的原因，我挑选了大部内容做了介绍，当然ShellGPT还有一些其他的细节需要大家自行去探索。其所有的参数都可以通过分类参数类型描述默认值基本选项prompt[PROMPT]用于生成完成的提示。--modelTEXT使用的大型语言模型。生成输出的随机性。0.0--top-p限制最高可能的token。1.0--md美化markdown输出。md--editor打开$EDITOR来提供提示。no-editor--cache缓存完成结果。cache--version显示版本。

以上就是Assistants-API整体的开发流程，了解了这些流程后，大家可以很容易构建出像ChatGPT-Plus的私人助理。当然Assistants-API目前还是在beta阶段，有很多功能不完善，比如不支持流式返回、不支持图片生成、不支持插件调用……，甚至run的状态还需要轮询来获取……。另外我在写本文demo的时候，发现Retrivel的文本内容召回成功率非常低，导致账单计算成功率很低（也可能是我给的文本格式的问题）。

就在上周，OpenAI在开发者大会上，升级了函数调用的功能，在新的gpt-3.5和gpt-4模型中，可以在单轮对话中调用多个函数了，而且在python SDK中也提供了并发函数调用相关的接口，无疑这将大幅减少大语言模型和现实世界之间交互的开发复杂度，接下来就让我用一个具体的示例，带你了解下OpenAI的新特性。这里额外说下，上面的三个函数调用是串行调用，如果每个函数都比较耗时的话，会增加整体的调用时长，而在最新的assistant api中增加了并行执行函数的api，这个我们放到下篇文章中讲解。