OpenAI GPT-4视觉API可以玩了,GPT4V,gpt-4-vision-preview,chatgpt

传说中的GPT-4V,终于上线了,虽然还是体验阶段。不过用过 OpenAI 视觉 API 的开发者都被惊艳到了。

已经有人玩出了各种花样了,比如用AI来解说视频,其实也是如此的丝滑:

整个实现过程可以分为 7 步:

  • 提取视频帧;
  • 构建描述提示;
  • 发送 GPT 请求;
  • 制作语音解说提示;
  • 生成语音解说脚本;
  • 将脚本转换为音频;
  • 将音频与视频结合。

这个可以大家去玩哈

先上一个基础的示例:

先从这里拿到key:https://github.com/xing61/xiaoyi-robot

import os

import openai
import requests
import time
import json
import time

API_SECRET_KEY = "你的智增增的key";
BASE_URL = "https://flag.smarttrot.com/v1/"  #智增增的base_url

from openai import OpenAI
# gpt4v
def gpt4v(query):
    client = OpenAI(api_key=API_SECRET_KEY, base_url=BASE_URL)
    resp = client.chat.completions.create(
        model="gpt-4-vision-preview",
        messages
### GPT-4 Visual Preview 特性和功能 GPT-4 Turbo with Vision 是由 OpenAI 推出的一款多模态模型,能够处理图像输入并生成相应的文本回复[^2]。此版本支持对图片的理解与分析,并能基于视觉内容回答复杂问题。如果进一步启用[视觉增强]特性,则可扩展至视频素材的解析。 #### 功能概述 该模型不仅限于简单的对象识别,还具备深入场景解读的能力。例如,在科学研究领域中,它被测试用于解决涉及跨学科知识的问题。一项对比实验显示,当面对需要空气动力学专业知识的任务时,GPT-4V 和其他先进模型均给出了合理解释;而在另一项关于生物化学的任务里,尽管两者表现各有千秋,但 GPT-4V 展现出了较强的推测能力[^3]。 以下是几个具体的功能特点: 1. **图像问答** 用户上传一张照片后,可以就这张照片的内容提问,比如描述其中发生了什么或者指出特定细节。 2. **情景理解** 不仅局限于静态物体检测,还能捕捉动态事件及其背景意义,这有助于更全面地把握画面故事线。 3. **技术文档辅助阅读** 对含有图表或结构化信息的技术资料进行快速扫描总结,帮助技术人员高效获取关键要点。 ```python from openai import Client, ImageAnalysisRequest client = Client(api_key="your_api_key") def analyze_image(image_path): request = ImageAnalysisRequest(file=open(image_path, 'rb')) response = client.images.analyze(request) return response.text print(analyze_image('example.jpg')) ``` 上述代码片段展示了如何调用OpenAI API 来实现基本的图像分析功能。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值