【Spring AI+Spring AI Albaba从零开始的学习之旅】之通义千问模型参数调优(ChatOptions)篇

关注

VIP免费原创 2026-01-18 20:17:48 1.5k 阅读 AI 写同款· GEO 优化 ›

Spring AI调用通义千问模型输出流报错解决方案 Beanreturn ChatClient.builder(model) // 创建ChatClient工厂实例.defaultSystem("您是一位校园超市客户聊天助手，你的名字叫小明。请以友好、乐于助人和愉快的方式解答用户的各种问题。").defaultAdvisors(new SimpleLoggerAdvisor()) // 添加默认的Advisor,记录日志.build();// 构建ChatClient实例@Bean.build(); 阅读详情

一、大模型是如何工作的？

智能问答作为大模型最经典且广泛的应用之一，是我们探索大模型工作机制的最佳范例。

下面以“ACP is avery"为输入文本向大模型发起一个提问，下图展示从发起提问到输出文本的完整流程：

大模型的问答工作流程有以下五个阶段:
第一阶段:输入文本分词化
分词(Token)是大模型处理文本的基本单元，通常是词语、词组或者符号。我们需要将"ACP isaverv"这个句子分割成更小月具有独立语义的词语(Token)，并且为每个Token分配一个ID。

第二阶段:Token向量化
计算机只能理解数字，无法直接理解Token的含义。因此需要将Token进行数字化转换(即转化为向量)，使其可以被计算机所理解。Token向量化会将每个Token转化为固定维度的向量。

第三阶段:大模型推理
        大模型通过大量已有的训练数据来学习知识，当我们输入新内容，比如“ACP is avery"时，大模型会结合所学知识进行推测。它会计算所有可能Token的概率，得到候选Token的概率集合。最后，大模型通过计算选出一个Token作为下一个输出。
第四阶段:输出Token
        由于大模型会根据候选Token的概率进行随机挑选，这就会导致“即使问题完全相同，每次的回答都略有不同"。为了控制生成内容的随机性，目前普遍是通过temperature和topp来调整的。
        例如，下图中大模型输出的第一个候选Token集合为"informative(50%)”、“fun(25%)”、“enlightening(20%)”、"boring(5%)"。通过调整temperature或topp参数，将影响大模型在候选Token集合中的选择倾向，如选择概率最高的“infommative”