百度技术学院-智能对话训练师学习笔记

最新推荐文章于 2025-11-09 00:09:08 发布
原创 最新推荐文章于 2025-11-09 00:09:08 发布 · 788 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍智能对话系统的训练流程，包括数据收集、清洗、分类和标注，对话模型配置与评估，以及效果优化策略。强调了智能对话训练师的角色与能力要求。

百度技术学院-智能对话训练师视频链接：https://bit.baidu.com/productsBuy?id=108

百度技术学院-智能对话训练师学习笔记

智能对话市场与就业前景

智能对话训练师的职责
一：收集真实场景下的问法及相关数据并进行数据的清洗、分类和标注
二：配置出可用的对话模型，并合理评估出对话效果
三：能够持续优化模型、不断提升技能的对话理解效果

智能对话训练师的能力要求
一：数据处理-从数据中分析出关键的信息，数据清洗、分类、标注
二：行业背景-了解专业术语知识
三：AI技术边界：清楚知道可以实现什么、不能实现什么
四：AI行业思考：设计相应方案

智能对话系统概念整体介绍

UNIT知识体系及术语介绍
Query：用户的话/请求
INTENT：用户话的目的/意图
SLOT：用户话中的关键信息（称之为：词槽）
UNIT系统话术定义及示例


流程
在这里插入图片描述

UNIT机器人功能介绍

百度UNIT机器人：http://unit.baidu.com

UNIT技能等相关功能介绍

  1. 问答技能： FAQ–Question and Answer
    技能需要：先训练-再测试
    UNIT具有泛化内容
  2. 对话技能：包含意图（多个词槽）
    根据业务选择词槽

UNIT训练数据功能介绍

  1. 训练数据-对话模版-对话样本集（配置模版）
  2. 技能训练

UNIT优化工具能力介绍

  1. 交互学习日志（局限性）–生僻的问法句子加入到训练数据中；
  2. 对话日志–重点关注未识别failure的部分
    clarify命中意图，需要澄清词槽
    satisfy对话完成，收集完成所有信息
    failure模型识别不到的query
  3. DataKit-训练数据生产与标注辅助工具
    样本自动获取、样本自动筛选、样本预处理DataKit

如何处理对话语料

  1. 场景数据收集： 任务型、问答型
  • 数据清洗：剔除无效数据，保留有效数据
    有效数据：句式、信息量、问法
    无效数据：直接替换词槽词典值、存在歧义
  • 数据分类
  • 关键数据标注（参数标注出来，词槽标注）
  • 词槽提取及词典值方案确认
    在这里插入图片描述
  1. 场景数据的三种使用方式：开发集、评估集、测试集（数据不足，优先保证开发集、测试集）
    在这里插入图片描述
  2. 富集数据能力不同的解决方案
    在这里插入图片描述

如何定义一个对话系统

训练智能对话技能的总体流程：
需求分析：对话场景确认-需求要做什么-需要哪些信息
创建训练技能
持续优化
在这里插入图片描述
预约办事场景的对话技能：
意图（预约）-预约申请所包含的词槽
在这里插入图片描述
在这里插入图片描述

如何配置训练数据

训练数据：用数据教会机器人你定义的对话技能。
已完成：添加技能-添加技能里对应的意图及词槽-定义整个对话系统-训练数据（教会机器人你定义的对话技能）

训练策略：快速生效、深度训练

如何进行效果评估

平台提供的测试工具评估对话效果，根据准确率和召回率判断后续优化的方向。
在这里插入图片描述

在这里插入图片描述
评估集文件要求：
txt文件，一行一个样本，顺序依次为：query，意图，词槽。三者之间以’\t’分隔，词槽之间以’###’分隔，编码为utf-8。再次提醒，评估样本建议为真实场景下的样本，请勿凭空构造。评估集中的每条样本都要标注意图、词槽（没有词槽的只标意图），其中正例样本是指需要识别为场景中意图的样本，例如上面评估查天气的BOT的评估样本中意图为ASK_WEATHER的都是正例样本。而对于当前bot对应场景不应该识别的对话 都可以标为负例样本，同系统预置的负例意图SYS_OTHER 表示。

帮助文档：https://ai.baidu.com/forum/topic/show/870435

效果优化与线上运营迭代

对话测试窗口，线上实时对话，可查看完整接口返回的JSON数据，定位问题。
正常：识别出意图-词槽-做出澄清回复。
错误：不理解句子时，需要查看JSON数据（schema、qu_res重点看、action_list），其中qu_res中的“lexical_analysis”有这条Query的具体解析结果，etypes中没有命中词槽说明词典值没有被识别；etypes中有命中词槽说明词槽有被识别。
通常建议：召回率80%、准确率90%达标。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

交互学习日志（优先级低）
对话日志
DataKit（线上优化迭代，模型已经达到了较好的泛化效果，提升时才可以用到）：目标是帮助大家低成本地把模型理解效果从80分往90分，从90分往95分去优化。
在这里插入图片描述

补充ing

系统对接
在这里插入图片描述
对话模版：用户常用的语言表述规则，通过不同的用法，可以实现对不同形态的query的解析。
在这里插入图片描述
对话样本：把需求分析阶段手机的对话样本导入样本集，进行意图和词槽的标注。

三种训练数据该如何选择？
在这里插入图片描述
单个技能中对话可以正确识别意图，但是和机器人对话就不能正确识别意图。–由于用到了干预学习能力，干预学习能力需要加入到训练数据中进行训练后，才可以在其他地方使用的。
Unit有自动获取对话样本集的功能，起码要很多条数据以上，才会有作用。
样本集怎样帮助机器人理解的呢，什么原理？–深度学习算法训练出的模型

ChatGPT大模型极简应用开发-CH1-初识 GPT-4 和 ChatGPT
uncle_ll的博客
01-17 874
GPT-4 和其他 GPT 模型是基于大量数据训练而成的大语言模型 （large language model，LLM），它们能够以非常高的准确性识别和生成人类可读的文本。GPT-4 和 ChatGPT 基于一种特定的神经网络架构，即 Transformer。Transformer 就像阅读机一样，它关注句子或段落的不同部分，以理解其上下文并产生连贯的回答。此外，它还可以理解句子中的单词顺序和上下 文意思。这使 Transformer 在语言翻译、问题回答和文本生成等任务中非常有效。
交互式人工智能对广域网流量及智算网络技术的影响分析
qq_61890005的博客
06-02 360
作为一种现象级的交互式人工智能，ChatGPT具有强大的对话能力和生成能力，可以回答后续问题、承认错误、挑战不正确的前提、拒绝不适当的请求，这意味着ChatGPT能够颠覆搜索行业，且在智能客服、游戏、虚拟人等领域也将得到广泛应用。当前以ChatGPT为代表的人工智能属于文本到文本（T2T）的交互方式，随着交互式人工智能的渗透发展，出现了更丰富的转换交互方式，比如文本到图像（T2I），文本到音频（T2A）、文本到视频（T2V）、文本到3D（T2D）、视频到音频（V2A）、视频到文本（V2T）等。
小编豪横的安排了RD，用2节课时间表演“如何让小白快速搭建对话系统”的直播
百度大脑
07-10 1382
智能对话系统使用户能够通过自然语言的方式和机器进行交互来满足自身的需求，在对话系统的研究中，多轮对话一直都是研究人员的重点研究方向。在多轮对话过程中，系统需要理解用户当前所说的话，且综合历史对话信息给出合理答复返回给用户，这就是对话管理要解决的问题。 对话管理是对话系统的重要组成部分，它的对话状态跟踪、对话策略选择、话术生成等功能是实现人机对话，尤其是多轮对话的关键。企业的对话系统应用中，业务都是用代码控制流程，这让复杂对话流程的实现有着不小的难度。 百度大脑UNIT平台在对话流程控制模块提供了新一代图
招募中|学完这4节干货分享，小时级变身智能对话训练师
百度大脑
07-01 1065
随着人工智能技术的普及和逐渐成熟，越来越多的传统企业希望借助 AI 技术，实现企业生产运营降本增效或者业务升级，智能对话系统便成为各行业率先尝试落地的应用场景。 智能对话应用包含智能客服、消费电子、车载出行、智能家电等场景。比如智能客服，企业传统的做法是依靠有经验的人工劳动力来与用户沟通，但这样的方式，会导致服务效率低且无法实时响应，服务质量参差不齐，人力投入成本高且难招聘等诸多问题。比如智能家电，很多传统的家电厂商依旧是按键或遥控控制家电，导致很多用户无法得到更好的产品交互体验。于是一些有 AI 先天基因
智能对话系统研究
therain123的博客
05-03 2767
对话系统并不是一个新兴的概念，自Weizenbaum于20世纪60年代在麻省理工学院开发Eliza[1]开始，它被认为是第一个对话系统，可以和人进行简单对话，但得到的回复大部分是“What are you saying about…”.微软在20世纪90年代为Office软件配备的虚拟助手Clippy可以认为是最早被大规模推向市场的对话系统，它以对话的方式为用户在使用Office工具的过程中提供帮助，但收效甚微，而且很多用户评价它“冒冒失失令人讨厌”，致使微软不得不将其下线.进入21世纪，Wallace通过
多轮对话（一）：概述（意图识别+槽填充）
热门推荐
Bat_Reality的博客
01-14 1万+
本文主要介绍对话系统的组成：NLU、DST、DP、NLG。其中主要关注NLU，其包括两个任务：意图识别和槽填充。
深入浅出对话系统——任务型对话系统技术框架
日积月累，天道酬勤
08-07 6356
任务型对话系统所需要了解的基本概念。
全网优质具身智能资源汇总
weixin_73208047的博客
12-09 1594
2024年是具身智能的元年，很多人在这一年开始了解具身智能这一前沿科技，但是中文互联网上的资源分布过于零碎，不容易找到，难以获取一个系统性的视野，为广大从业者和爱好者制造了阻碍。 为了帮助大家更好地踏入/follow这个充满潜力的新领域，笔者精心整理了一系列关于具身智能的高质量资料。希望这些经过精心挑选和编排的资料能成为大家探索具身智能及其相关领域的得力参考，无论您是刚入门的小白，还是资深的领域内专家，都能助各位在科研、学术道路上更进一步
高校教学AI辅助平台的大模型微调架构：AI应用架构师的实践技巧
AI天才研究院
08-01 1147
预训练模型= 刚毕业的名校毕业生，知识渊博但不懂教学全参数微调= 让助教重新读4年师范专业（效果好但成本高）PEFT微调= 给助教做3个月教学法培训（成本低且针对性强）RAG增强= 给助教配一套"校本教材+试题库"（动态补充知识）高校教学场景几乎总是选择PEFT+RAG混合方案——既不需要巨额算力，又能兼顾专业深度和知识新鲜度。核心教学场景与技术映射教学场景技术组合典型交互流程智能答疑LoRA微调+RAG+意图识别学生提问→检索课程PPT→微调模型生成"符合教学大纲的解答"代码批改。
当AI遭遇真实世界的数据迷宫：RUST-BENCH解密大语言模型的表格推理困境
最新发布
步子哥的博客
11-09 83
RUST-BENCH的诞生，标志着AI表格推理研究从"玩具问题"走向"真实战场"。它像一面残酷的镜子，照出了当前LLM在规模、异构性、领域特异性和复杂推理上的四重脆弱。但这不是终点，而是新的起点。正如论文作者所言，这个基准测试的价值在于其诊断性。它不仅是排行榜，更是路线图——每个错误类型、每个性能下降曲线、每个跨领域对比，都在告诉我们：下一代AI需要什么样的能力。或许，真正的突破不在于让模型记住更多token，而在于教会它如何像人类专家那样与数据对话：先扫视全局，再聚焦关键；
基于LLM+场景识别+词槽实体抽取实现多轮问答
gallonyin的博客
11-19 5550
随着人工智能技术的不断进步，大语言模型（LLM）已成为技术前沿的热点。它们不仅能够理解和生成文本，还能在多种应用场景中实现复杂的交互。本文将深入探讨一段结合了大语言模型能力、意图识别和词槽实体抽取的Python代码，这段代码展示了如何实现智能的多轮问答能力，为用户提供更加丰富和个性化的交互体验。
对话系统中的槽和槽位
03-25 2166
基本概念： 1、槽可以理解为实体已明确定义的属性，例如打车中的，出发地点槽，目的地槽，出发时间槽中的属性分别是“出发地点”、“目的地”和“出发时间” 2、语义槽是指NLU模块从句子中抽取出的特定概念 3、填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程 4、槽填充则可以看做是序列标注问题，即对于给定的句子中的每个词分别打上相应的标签 5、填槽的专业表述：从大规模的语料库中抽取...
对话系统-口语理解-意图检测和槽填充：A Co-interactive Transformer for joint Slot Filling and Intent Detection
weixin_51221144的博客
12-26 1944
论文题目：A Co-interactive Transformer for joint Slot Filling and Intent Detection 原论文地址 PyTorch代码 论文精简版-PPT 1.背景 意图检测和槽填充是构建口语理解（SLU）系统的两个主要任务。 以前的研究要么用多任务框架隐式地对两个任务进行建模{\color{Red}多任务框架隐式地对两个任务进行建模}多任务框架隐式地对两个任务进行建模，要么只考虑从意图到槽的单个信息流{\color{Red}只考虑从意图到槽的单个信息流
对话机器人（四）——RASA：Domain
qnstar_的博客
06-17 1528
domain定义了机器人可操作的数据范围，包括意图(intents)、实体(entities)、词槽(slots)、回复(responses)、表单(form)、动作(actions)和会话session的配置(session_config)。​ ❃ 意图、实体：输入的范围​ ❃ 词槽、表单：内部的变量，表征状态和存储记忆​ ❃ 动作：模型输出的范围​ ❃ 回复：机器人回复的模板 完整的domain示例： 2. 意图 列出在和中使用的所有的意图。参数： 上述例子中，意图有：greet(欢迎)、goodby
AI 智能对话 - 基于 ChatGLM2-6B 训练对话知识库
weixin_36532747的博客
07-15 2076
"The human mind is a complex, dynamic and ever-changing system." -认知科学家 Golda湘
从0到1搭建智能对话机器人
05-28
通过对课程的学习，可以了解到智能对话的应用方式，搭建一个可定制化的智能会话系统，掌握意图识别，多轮对话理解，知识图谱相关知识的学习方式，了解到各模型算法的使用方式。通过对数据的清洗编制应用，模型的训练可以将智能回复与智能音箱、智能家居、智能导航等硬件设备相连接，将理论成为一个工业可用的产品。
对话式AI操作系统架构（学习心得）
AItrust的博客
04-28 1526
什么是对话式操作系统 以智能IoT设备（如智能音箱）为依托平台的操作系统 在这个操作系统上，开发者可以进行应用程序的开发 对话式操作系统的请求流程 以百度的DuerOS为例： 用户发出语音指令 智能音箱收集音频流 语音识别，将语音转化为文本 文本请求在系统内转化为请求指令，发送给对应的应用服务 应用服务处理请求，生成回复 语音合成，将应用服务的回复结果以音频形式输出 与传统web服务的区...
网络规划设计师学习笔记：计算机网络原理与数据通信
"《网络规划设计师》学习笔记118页.doc" 这是一份关于网络规划设计师的学习笔记，涵盖了计算机网络的基本原理、网络规划设计的概念以及相关的知识点。笔记内容详细介绍了计算机网络的各个方面，旨在帮助备考网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值