- 博客(16)
- 收藏
- 关注
原创 对话机器人(七)——RASA:基于规则
解决机器人无法处理的情况。如,用户表达不清楚,超出机器人能提供服务的范围,这时需要“兜底”的fallback操作。负责处理NLU阶段理解用户意图困难或模糊的情况。FallbackClassifier组件,可见pipline。如:若所有意图分类组件预测出的结果中,最高的置信度小于0.6(threshold值)或最高的前2个意图得分之差不超过0.1(ambiguity_threshold),NLU的意图就会被替换成nlu_fallback。将nlu_fallback映射成utter_please_rephr
2022-06-17 11:26:25
1345
原创 对话机器人(六)——RASA:Actions
action:接收用户输入和对话状态信息,按照业务逻辑进行处理,并输出改变对话状态的事件和回复用户的消息。和domain中的response关联在一起,当调用这类动作时,会自动查找response中同名的模板并渲染。填表:多次和用户交互,收集任务所需要的要素,直到所需的要素收集完整。(1)用户表达自己的需求(意图和实体)。(2)根据用户意图,确定合适的表单,将用户在对话中提供的实体信息填入其中。机器人查看表单中缺失的字段,按照一定的策略询问用户关于缺失字段的问题。(3)用户提供缺失字段信息。(4)机器人将缺
2022-06-17 11:25:22
2311
原创 对话机器人(五)——RASA:Config
定义了模型将用于根据用户输入进行预测的组件和策略。recipe: 当前配置文件所用的格式,rasa仅支持default.v1格式。1. pipline组件组件构成NLU pipline并按顺序将用户输入处理成结构化输出。包含语言模型、分词器、特征提取、实体识别、意图分类、结构化输出。组件具有以下特征:加载预训练的词向量模型。MITIE 库需要一个语言模型文件,必须在配置中指定。(2) spaCyNLP初始化 spaCy 结构。每个 spaCy 组件都依赖于此,需要放在pipline的开头。b.
2022-06-17 11:24:06
1552
原创 对话机器人(四)——RASA:Domain
domain定义了机器人可操作的数据范围,包括意图(intents)、实体(entities)、词槽(slots)、回复(responses)、表单(form)、动作(actions)和会话session的配置(session_config)。 ❃ 意图、实体:输入的范围 ❃ 词槽、表单:内部的变量,表征状态和存储记忆 ❃ 动作:模型输出的范围 ❃ 回复:机器人回复的模板完整的domain示例:2. 意图列出在和中使用的所有的意图。参数:上述例子中,意图有:greet(欢迎)、goodby
2022-06-17 11:22:17
1458
原创 对话机器人(三)——RASA:训练数据
1. 训练数据格式使用YAML作为统一且可扩展的方式来管理所有训练数据,包括NLU数据、stories、rules。训练数据可以使用多个YAML文件,每个文件包含NLU数据、stories、rules的任意组合。version: "3.1"nlu:- intent: greet examples: | - Hey - Hi - hey there [Sara](name)- intent: faq/language examples: | - What l
2022-05-30 14:45:40
2985
原创 ES基本用法
ES基本用法1.创建 Index,索引名为 newsresult = es.indices.create(index='news', ignore=400)创建成功返回值:{‘acknowledged’: True, ‘shards_acknowledged’: True, ‘index’: ‘news’}2. 删除 Indexresult = es.indices.delete(index='news', ignore=[400, 404])删除成功返回值:{‘acknowledged’:
2022-05-27 17:01:19
615
原创 知识图谱(二)——知识表示
一、经典知识表示理论1. 语义网络语义网络:是一个通过语义关系连接的概念网络,将知识表示为相互连接的点和边的模式。节点——实体、事件、值;边——对象间的语义关系。语义网络中最基本的语义单元称为语义基元,用<节点1,关系,节点2>表示。如“珊瑚是一种动物”关系类型实例关系(ISA):具体和抽象,一个事物是另一个事物的一个实例。“是一个”。分类关系(AKO):子类和超类,一个事物是另一个事物的一种类型。“是一种”成员关系:个体和集体,一个事物是另一个事物的一个成
2022-05-27 16:58:32
4160
1
原创 知识图谱(一)——概述
一、序深度学习训练的模型更像是一个具有统计知识的机器,从关联和概率的角度描述世界背后的“真理”。而我们期望机器能像人一样,具有分析和推理的能力。——知识图谱1. 前提知识本体:通过对象类型、属性类型及关系类型对领域知识进行形式化描述的模型。本体只对数据的定义进行了描述,而没有描述具体的实例数据。知识是认知、图谱是载体、数据库是实现。知识图谱以结构化三元组的形式存储现实世界中的实体及实体集合。2.知识图谱与深度学习a. 深度学习本质:通过多层神经网络,自动学习处理对象的抽象表示。缺陷:需
2022-05-27 16:54:48
2048
原创 spark读取csv文件的方法
1.SparkSession:training = spark.read.format("csv").options(header='true',inferschema='true',encoding='gbk').load(r"hdfs://localhost:9000/taobao/dataset/train.csv")2.SparkContext# 加载数据 封装为row对象,转换为dataframe类型,第一列为特征,第二列为标签training = spark.sparkConte
2020-09-28 16:01:51
4047
原创 配置spark可能遇到的问题及其他相关配置
【问题1】pyspark+pycharm 配置【解决方法】https://blog.youkuaiyun.com/u012884015/article/details/80105921PYTHONPATH /usr/local/spark/pythonSPARK_HOME /usr/local/spark【问题2】修改python3为python【解决方法】vim ~/.bashrcalias python=python3source ~/.bashrc【问题3】在spark中配置python环境
2020-09-24 15:46:57
257
原创 hive报错汇总
【错误1】WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn’t set. For compliance with e
2020-09-24 15:40:31
583
原创 spark实践-淘宝双十一数据分析与预测
案例任务对淘宝双十一数据进行预处理、存储、查询和可视化分析。项目步骤0. 安装环境Ubuntu18.04Java 1.8MySQL 5.7.31Hadoop 3.1.3Hive 3.1.2Spark 2.4.0Sqoop 1.4.7Eclipse 4.14Pycharm 2020.21. 预处理1. 将原始数据集进行预处理2. 把文本文件的数据集导入数据仓库Hive中2. 存储1. 对数据进行查询分析2. 把Hive的数据导入MySQL中3. 数据分析1. 搭建动态W
2020-09-24 15:09:33
10075
5
原创 记录学习过程中遇到的sql语句
学习过程中遇到的sql语句一、US_2019COVID项目中1. 计算每日较昨日新增确诊病例数和死亡数自连接,新增数=今日-昨日 连接条件:t1.date=t2.date+1select t1.date,t1.cases-t2.cases as caseIncrease,t1.deaths-t2.deaths as deathIncrease from ustotal t1,ustotal t2 where t1.date=date_add(t2.date,1)2. 统计截止
2020-09-17 16:02:50
348
原创 2020年美国新冠肺炎疫情数据分析
US_2019COVID介绍2020年美国新冠肺炎疫情数据分析–截止2020年9月9日数据处理使用Spark对数据进行分析数据可视化一、数据处理1. 数据集分析数据包含以下字段,具体含义:date 日期; county 区县; state 州; cases 截止该日期确诊人数; deaths 截止该日期死亡人数将csv文件转为txt文件,方便spark读取生成RDD和DataFrame。转换代码见 csv_txt.py2. 上传文件到HDFS文件系统hdfs dfs -
2020-09-16 22:01:26
9476
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人