从零开始 通义千问大模型本地化到阿里云通义千问API调用

已于 2023-11-16 19:38:08 修改
阅读量1.6w 收藏 64
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 《Python与AI实战漫游》 AI参与的学习 文章标签： gpt python
于 2023-11-16 19:31:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_51116518/article/details/134448138

从零开始 通义千问大模型本地化到阿里云通义千问API调用

一、通义千问大模型介绍

何为“通义千问”？

“通义千问大模型”是阿里云推出的一个超大规模的语言模型，具有强大的归纳和理解能力，可以处理各种自然语言处理任务，包括但不限于文本分类、文本生成、情感分析等。此模型能够极大地提高了自然语言处理的效率和准确性，给用户提供了一种新的、简便的工具。

通义千问全面开放

2023年9月13号，阿里云宣布通义千问大模型已首批通过备案，并正式向公众开放，个人/企业用户可以通过阿里云调用通义千问API。
通义千问模型细解:https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary
7B试用地址：https://modelscope.cn/studios/qwen/Qwen-7B-Chat-Demo/summary?login=from_csdn

通义千问能力

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿里通义千问，彻底爆了！（本地部署+实测）
终码一生
06-07 3万+
好了，今天的部署测试就到这里。Qwen2相比Qwen1.5实现了重大升级，具有以下特点：5个尺寸的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；在中文英语的基础上，训练数据中增加了27种语言相关的高质量数据；多个评测基准上的领先表现；代码和数学能力显著提升；增大了上下文长度支持，最高达到128K tokens（Qwen2-72B-Instruct）。
如何调用通义千问API
weixin_43564920的博客
07-18 1万+
需要替换为您自己的API密钥。此外，您还需要根据您的实际需求设置请求参数，例如。请注意，上述示例代码中的。表示用户提问的文本等。
通过API使用通义千问
消极的人永远是对的，积极的人选择勇往直前
09-10 1万+
使用非流式输出方式需要等待模型生成结束后再将生成的中间结果拼接后返回，而流式输出可以实时地将中间结果返回，可以在模型进行输出的同时进行阅读，减少等待模型回复的时间。当使用Linux系统（如Ubuntu、CentOS等）中的命令行添加DashScope的API-KEY为环境变量时，可以选择在当前会话添加临时性环境变量，或对当前用户添加永久性环境变量。如果想对当前用户添加永久性环境变量，使得在该用户的新会话中也可以使用该环境变量，可以把以下命令语句复制并添加到。信息，更符合日常交流的场景。
【API选型避坑指南】：从调用延迟到单价，智谱百川通义全面PK
最新发布
SimCompile的博客
10-10 480
解决API选型难题，实测智谱/百川/通义API对比：调用成本实测。涵盖响应延迟、单价、并发性能与适用场景，基于真实调用数据横向评测，帮你选出性价比最优方案。值得收藏
通义千问大模型API调用示例
shenzhibiao的博客
07-21 6934
通义千问是由阿里云自主研发的大语言模型，用于理解和分析用户输入的自然语言。
阿里大模型通义千问QwenAPI调用
kkkkkkkkkasey的博客
04-15 1188
收回了哈，怎么导航条这个样子？？？拉不开也不知道谁是谁……
【大模型】通义千问API接口本地调用
酒酿小圆子呀～
12-05 4217
本文主要讲解了如何应用阿里云的"通义千问"进行本地API接口调用。
通义千问本地部署
Python，数据分析，机器学习，深度学习
10-08 1万+
*通义千问-14B（Qwen-14B）**是阿里云研发的通义千问大模型系列的140亿参数规模的模型。Qwen-14B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-14B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-14B-Chat。本仓库为Qwen-14B-Chat的Int4量化模型的仓库。如果您想了解更多关于通义千问-14B开源模型的细节，我们建议您参阅。
通义千问本地部署教程 Qwen-1.5-1.8B/7B/14B Windows-详细认真版
热门推荐
一个学长的博客
02-26 7万+
实现了在Windows上部署通义千问的Qwen-7B-Chat Qwen-1.5-1.8B 模型且实现多轮对话和流式输出，目前还在更新。
ModelScope体验通义千问2.5-Omni-7B多模态大模型
静静流淌的柯溪的博客
03-28 1602
总的来说，Model Scope为初学者提供了一个零门槛的AI实践平台：无需编程即可在线体验文本生成、图像修复等模型效果，通过简单代码调用API快速开发小应用（如智能对话、照片卡通化），还能利用免费教程和算力尝试模型微调，结合中文友好的社区资源，帮助新手在几小时内完成从理论认知到项目原型的跨越，轻松入门人工智能。注意⚠️：GPU的使用时长是你启动Notebook那一刻开始计时，GPU和CPU共享开发环境，所以在我们日常开发时，可以先用CPU环境来下载配置大模型，然后使用GPU来运行调试大模型。
GPT实战系列-实战Qwen通义千问在Cuda 12+24G部署方案
Alex_StarSky的博客
01-16 4366
通义千问 Qwen测试在显卡内存24G，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。
通义千问大模型调优
陈卓fighting!!!
10-06 1954
​​大模型调优​​ 指的是通过一系列技术和方法，调整或影响一个大语言模型的行为和输出，使其更契合特定任务、领域或风格需求的过程。简单来说，就是​​“教”一个通用的、知识渊博的模型，让它变得更“专业”，更能理解并满足你的独特要求。​​您给出的定义非常精准：​​“调优是指可以根据自己的需求获取更精准或者更有创建性的一些答案”​​。我们可以从两个维度来理解这个定义：​​更精准​​：让模型在特定领域（如医疗、法律、金融、你公司的内部知识）的回答更准确、更可靠，减少“幻觉”（即胡编乱造）。​​更有创造性​。
使用【阿里云百炼】搭建自己的大模型
Larry的博客
08-26 3863
本文介绍阿里云百炼大模型平台，其为企业级服务平台，融合通义千问等模型，支持多模态能力，提供一站式工具降低开发门槛。重点讲解智能体应用及大模型搭建步骤，含进入创新应用界面、选模型配参数、输指令、导数据、加载知识库、获取API Key、加样例库、配置MCP，还提及模型调试与多平台发布，并附试用链接，助力企业与开发者快速搭建适配业务的AI模型。
本地部署通义千问大模型
morsth的博客
04-09 2696
*通义千问-7B（Qwen-7B）**是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。
阿里通义千问：本地部署Qwen1.5开源大模型
m0_37559973的博客
06-06 8749
通义千问为阿里云研发的大语言系列模型。千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。
【AIGC】本地部署通义千问 1.5 (PyTorch)
Kida 的躺平小屋
04-12 4207
今天想分享如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。
本地部署AI大模型三步走（Ollama+通义千问）
2401_85375151的博客
12-19 3110
自ChatGPT在2022年11月30日问世以来，各类人工智能驱动的自然语言处理模型就纷纷冒出来了，它们可以理解和学习人类的语言跟人类进行对话，并能根据聊天的上下文来进行互动。目前ChatGPT-4在某些专业知识领域已经达到甚至超过博士生的水平了。在翻译、创作、知识问答、图片生成、视频剪辑、编程、测试、检验等等领域，AI大模型可谓大放异彩！网上也议论纷纷，说以后AI要淘汰这个职业，那个职业的，搞得人心惶惶的。实际上，AI大模型还是有一些局限性的，难以处理过于复杂的任务。
通义千问Qwen-Agent本地部署方法
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
10-02 4178
Qwen-Agent 是一个基于 Qwen 的指令跟随、工具使用、计划和记忆能力来开发 LLM 应用程序的框架。它还附带了一些示例应用程序，例如浏览器助手、代码解释器和自定义助手。
Windows系统在本地运行通义千问大模型配置教程（超详细）_通义千问本地部署配置需求
2301_79455190的博客
03-11 3967
本文将教给大家（windows用户）怎么在本地运行大模型，并且通过cmd进行交互，不用联网也可以进行询问。前排提示，文末有大模型AGI-优快云独家资料包哦！
服务器部署魔塔ofa文字识别
03-09
### 部署魔塔 OFA 文字识别模型 为了在服务器上成功部署魔塔OFA文字识别模型，需遵循一系列特定的操作流程来确保环境配置正确以及模型能够正常工作。 #### 环境准备 考虑到网络访问限制可能导致从某些平台下载预训练模型遇到困难的情况，在此推荐通过ModelScope获取所需的预训练模型[^3]。这一步骤涉及创建用于存储模型权重的专门文件夹，并利用Git命令克隆指定位置中的模型资源至本地环境中。 ```bash mkdir weights && cd weights git clone https://www.modelscope.cn/stepfun-ai/GOT-OCR2_0.git ``` 上述指令展示了如何建立必要的目录结构并拉取目标模型的数据集。 #### 模型运行前设置 对于具体的CLI演示程序(cli_demo.py)，其内部设定的默认路径可能不符合实际需求，因此建议调整该脚本内的变量指向正确的模型存放地点以防止后续执行过程中出现问题[^4]。例如： ```python model_path = "/mnt/workspace/models/chatglm3-6b" ``` 这段Python代码片段体现了对模型加载路径进行自定义更改的方法，从而匹配服务器端的实际布局。 #### 参数调节优化性能 当涉及到影响生成文本多样性的超参数时，如`temperature`和`top_p`，适当降低这些数值可以使输出更加多样化而富有创意；反之，则会使响应趋于一致性和稳定性[^2]。不过需要注意的是，这一部分主要适用于对话类应用场景而非纯粹的文字识别任务。 #### 完善依赖项安装 除了以上提到的关键环节外，还应参照官方文档完成其他辅助软件包的安装过程，比如构建适合于处理图像输入数据流的工作管线等。通常情况下，这类准备工作会涵盖但不限于Conda虚拟环境搭建、相关库文件更新等方面的内容[^5]。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风吹落叶花飘荡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值