星火大模型Python SDK使用教程

最新推荐文章于 2024-09-21 17:07:20 发布

孟振优Harvester

最新推荐文章于 2024-09-21 17:07:20 发布

阅读量934

点赞数 24

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00028/article/details/142409279

星火大模型Python SDK使用教程

项目地址:https://gitcode.com/gh_mirrors/sp/spark-ai-python

1. 项目介绍

1.1 项目概述

spark-ai-python 是一个由讯飞（iflytek）开发的Python SDK库，旨在帮助用户更快速、更简单地体验和接入讯飞星火大模型。该项目提供了一个统一的接口，使得开发者能够轻松地将星火大模型集成到他们的AI应用中。

1.2 项目特点

极简接入：快速调用讯飞星火大模型。
生态对接：支持LLamaIndex、AutoGen等生态项目。
多模态支持：支持图片理解大模型。
流式处理：支持流式返回结果，提升用户体验。

2. 项目快速启动

2.1 安装

首先，确保你已经安装了Python 3.8+。然后，通过pip安装spark-ai-python库：

pip install spark_ai_python

2.2 快速示例

以下是一个简单的示例，展示如何使用spark-ai-python库进行一次非流式的对话：

import os
from sparkai.llm.llm import ChatSparkLLM, ChunkPrintHandler
from sparkai.core.messages import ChatMessage

try:
    from dotenv import load_dotenv
except ImportError:
    raise RuntimeError('Python environment for SPARK AI is not completely set up: required package "python-dotenv" is missing.')

load_dotenv()

if __name__ == '__main__':
    spark = ChatSparkLLM(
        spark_api_url=os.environ["SPARKAI_URL"],
        spark_app_id=os.environ["SPARKAI_APP_ID"],
        spark_api_key=os.environ["SPARKAI_API_KEY"],
        spark_api_secret=os.environ["SPARKAI_API_SECRET"],
        spark_llm_domain=os.environ["SPARKAI_DOMAIN"],
        streaming=False,
    )

    messages = [ChatMessage(role="user", content='你好呀')]
    handler = ChunkPrintHandler()
    a = spark.generate([messages], callbacks=[handler])
    print(a)
    print(a.generations[0][0].text)
    print(a.llm_output)