豆包大模型API接入

1.安装JDK

pip install volcengine

2.API接入

from volcengine.maas.v2 import MaasService

maas = MaasService('maas-api.ml-platform-cn-beijing.volces.com', 'cn-beijing')

maas.set_ak('###access_key###')

maas.set_sk('###secret_key###')

req = {

    "stream": True,

    "parameters": {

        "max_new_tokens": 0,

        "temperature": 0.7,

    },

    "messages": [

                    {

                        "role": "user",

                        "content": "你好"

                    }

                ]

}

text = ""

for resp in maas.stream_chat("###端点ID###", req):

    if resp.error == None:

        chunk = resp.choices[0].message.content

        text += chunk

        print({"error_code": 0, "text": text})

    else:

        data = {

            "error_code": 500,

            "text": f"请求方舟 API 时发生未知的错误: {resp}"

        }

        print(data)

        break

返回结果:

{'error_code': 0, 'text': '你'}

{'error_code': 0, 'text': '你好!有'}

{'error_code': 0, 'text': '你好!有什么我可以帮助'}

{'error_code': 0, 'text': '你好!有什么我可以帮助你的?'}

### 大模型 API 接入教程 #### 使用千帆大模型API实现文本补全功能 为了利用千帆(Qianfan)提供的API服务完成文本补全任务,需先安装并配置必要的库文件以及认证信息。 ```python import os from langchain_community.llms import QianfanLLMEndpoint ``` 上述两行代码分别引入了`os`模块和来自`langchain_community.llms`包下的`QianfanLLMEndpoint`类。前者允许程序操作系统的某些特性;后者则是连接至千帆大型语言模型的服务端点[^1]。 接着定义两个重要的环境变量——`QIANFAN_AK`(Access Key)与`QIANFAN_SK`(Secret Key),它们作为访问控制机制的一部分,在每次请求时用来证明客户端身份的有效性: ```python os.environ['QIANFAN_AK'] = 'your_access_key' os.environ['QIANFAN_SK'] = 'your_secret_key' ``` 以上代码片段展示了如何通过Python内置函数设置环境变量的方式存储敏感数据。请注意替换掉示例中的占位符(`your_access_key`, `your_secret_key`)为实际从千帆平台获得的具体值。 之后便是初始化`QianfanLLMEndpoint`实例的过程,指定所要使用的预训练模型名称(此处选用的是`ChatGLM2-6B-32K`),从而构建起通往远程服务器上运行着的目标神经网络架构之间的桥梁: ```python llm = QianfanLLMEndpoint(model="ChatGLM2-6B-32K") ``` 最后一步就是向已建立好的通信渠道发送查询指令,并接收由对方处理完毕后的响应消息。下面的例子演示了一个简单的问答场景,其中涉及到了对“什么是大模型?”这一问题的回答生成过程: ```python response = llm("llm大模型是什么?") print(response) ``` 这段脚本执行后将会输出由选定的语言模型基于输入提示词推测出来的可能答案。 #### 豆包大模型API接入方法简介 对于另一种不同的服务平台来说,则采取略有差异的操作流程来进行集成工作。以豆包为例,其官方文档给出了如下所示的基础设定方式: ```python from volcengine.maas import MaasService maas = MaasService('maas-api.ml-platform-cn-beijing.volces.com', 'cn-beijing') ``` 这里首先是从特定路径下导入了专门服务于该生态系统的SDK组件-MaasService;随后创建了一个指向具体地域内主机地址的新对象实例,准备就绪以便后续发起各类RESTful风格的HTTP请求[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jacky_wxl(微信同号)

喜欢作者

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值