- 博客(82)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 还在用BERT做文本分类？分享一套基于预训练模型ERNIR3.0的文本多分类全流程实例【文本分类】
文本分类任务是自然语言处理中最常见的任务之一。文本分类简单定义来说就是对给定的文本，可以是一句话、一段文本、一篇文章利用文本分类器进行分类和打标签。文本分类任务广泛应用于长短文本、情感分析、新闻分类、事件类型分类、政务信息分类、商品类型分类、文章类型分类、论文类别、专利领域、案件描述、罪名分类、意图分类、论文专利分类、邮件自动分类、评论类型分类、药物反应分类、对话分类、税收分类、投诉分类、广告检测、敏感违禁内容分类、内容安全检测、预情分析、话题分类等等日常或者专业领域中。
2023-01-01 16:33:46
6551
4
原创 章节七：RASA NLU组件介绍--意图分类器和实体提取器
意图分类器主要是对用户的每一次对话进行意图识别，确定用户的每次意图，确定客户每次问的意图是哪种，需要做什么。实体提取器主要是获取每一次对话的槽位信息。
2022-12-27 15:36:07
2937
原创 章节六：RASA NLU组件介绍--特征生成器
RASA文本特征生成器分为两个不同类别：稀疏特征生成器如One-hot和密集特征生成器如Bert。稀疏特征生成器会返回具大量缺失值（例如零）的特征向量。但是由于这些特征向量通常会占用大量内存，因此我们将它们存储为稀疏特征，稀疏特征仅存储非零值及其在向量中的位置，能够在更大的数据集上进行训练。
2022-12-27 15:20:34
1671
1
原创 章节五：RASA NLU组件介绍--语言模型和分词器
RASA在处理对话时，整体流程是pipeline结构，自然语言理解（NLU）、对话状态追踪（DST）以及对话策略学习（DPL）一系列流程处理下来，再判断执行下一个动作。其中，NLU组件主要是将用户的输入处理成结构化输出。该组件主要用途为实体抽取、意图分类、响应选择、预处理等。NLU组件也是一个可细分pipeline结构，过程是Tokenize->Featurize->NER Extract->Intent Classify。
2022-12-27 15:10:15
2064
原创 Neo4j 实战（一）-- Mac neo4j 安装与配置
neo4j安装版本与JDK版本需要对应，不然neo4j无法启动，这也是一个坑。本机安装python版本是3.6，选择Neo4j版本是3.4。因此，JDK版本是必须1.8.版本以上，不一致会报错。备注：下面是最佳版本适配记录。
2022-12-15 10:50:14
4609
原创 部署Neo4j +Rasa+Rasa UI
最近在学习kbqa，调研时发现gitee上有关于多轮对话系统源码，该仓库主要是基于rasa框架（python语言）实现，并且带有web的UI配置，相当于比较全面的对话平台。Rasa UI 可以基于客户已有的平台， 也可以作为独立的平台使用。
2022-12-15 10:39:14
1832
1
原创 章节四：RASA 训练数据介绍
一般来说，机器人可以跟人对话，机器人说什么是最难的，顶多是人工编写几种规则和模版来回复即可。但是要让机器人理解人的意图，确实非常难的事情。因为语言具有多样性，多义词，一语双关，长短句等，尤其是中文的博大精深。因此机器人需要特别多的数据，也就是模拟人的问法，让机器人理解这些意图特征，理解人的问法，以及人是如何回复别人的问题，这部分内容在Rasa里面称为训练数据。
2022-11-20 21:27:50
1838
原创 章节三：RASA Domain介绍
Domain(领域)定义了bot可以操控的范围。它指定了bot需要了解的Responses、Intents、Slots、Entities、Forms and actions。domain是一个或者多个YAML格式的文件。
2022-11-13 22:57:59
884
原创 NLP进阶学习(一)-------AI项目管理流程：实验到落地
AI项目管理流程：实验到落地有一段时间没有写博客，有时间还得多写写，温故而知新。这一讲介绍了AI项目管理流程，并整理成了思维导图形式。思维导图链接：石墨思维导图...
2020-03-16 19:37:39
1566
翻译 【翻译】Google Colab免费GPU使用教程
文章目录Google Colab免费GPU使用教程什么是Google Colab？让Google Colab随时可用在Google云端硬盘上创建文件夹创建新的Colab笔记本设置GPU使用Google Colab运行基本Python代码使用Google Colab运行或导入.py文件如何改变文本的样式下载泰坦尼克号数据集（.csv文件）和显示前5行从Github 仓库中克隆project到Goog...
2019-08-11 20:17:23
2560
原创 论文UMBC at SemEval-2018 Task 8: Understanding Text about Malware解读
论文UMBC at SemEval-2018 Task 8: Understanding Text about Malware解读文章目录论文UMBC at SemEval-2018 Task 8: Understanding Text about Malware解读摘要三大任务Task 1 ----- Classify sentences relevant to malware1.models...
2019-05-04 20:02:51
1246
2
原创 论文 Relation Classification via Convolutional Deep Neural Network 解读
论文 Relation Classification via Convolutional Deep Neural Network 解读目录论文 Relation Classification via Convolutional Deep Neural Network 解读目录前言论文介绍时间作者研究机构提出的问题论文的主要贡献论文的方案-DNN算法结构算法结构图结...
2019-05-04 20:02:38
6259
7
原创 论文 MalwareTextDB:A Database for Annotated Malware Articles 解读
摘要：首先，该论文创建了一个注释恶意软件文本的数据库，有意思的是，这是第一个注释恶意软件报告的数据库。注释框架是基于MAEC词汇，MAEC是用来描述恶意软件属性和特征的结构化语言。目前该数据库由39篇APT报告共6819句话组成。其次，作者基于数据库提出了5项任务，需要大家共同来完成这些挑战。注释的语句示例如下：背景1.APTnotes论文中的39篇APT报告的出处—APT...
2019-05-04 20:02:20
2037
16
原创 NEO4J使用问题：Import-Module : 未能加载指定的模块“\Neo4j-Management.psd1”
NEO4J使用问题：Import-Module : 未能加载指定的模块“\Neo4j-Management.psd1”下载安装教程暂时可以参考这篇博客：https://www.cnblogs.com/ljhdo/p/5521577.html在运行 neo4j.bat console 语句时，出现标题所述的问题：错误原因：找不到指定的模块文件‘\Neo4j-Management.psd1’...
2019-04-28 11:29:12
5652
原创 在学习tensorflow过程中遇到的问题
在学习tensorflow过程中遇到的问题Tensorboard报错 No dashboards are active for the current data set运行完tensorflow代码后，进行tensorboard可视化时出现上述问题。图1 No dashboards are active for the current data set 报错首先，碰到这种报错情况，我们先...
2019-01-14 21:29:34
922
转载 注意力机制（Attention Mechanism）在自然语言处理中的应用
注意力机制（Attention Mechanism）在自然语言处理中的应用 注意力机制（Attention Mechanism）在自然语言处理中的应用 近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的...
2018-12-16 20:47:29
629
转载 自然语言处理中的自注意力机制（Self-attention Mechanism）
自然语言处理中的自注意力机制（Self-attention Mechanism）近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提出。...
2018-12-16 20:14:46
1683
转载 github上fork了别人的项目后，再同步更新别人的提交
github上fork了别人的项目后，再同步更新别人的提交github网站上操作打开自己的仓库，进入code下面。点击new pull request创建。 选择base fork选择head fork点击Create pull request，并填写创建信息。 6. 点击Merge pull request 合并从源fork来的代码。 7. 完成。用git命令操...
2018-11-30 11:47:02
1437
转载 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史注：之前分享了新浪微博机器学习部AI Lab的资深算法专家张俊林博士的PPT：《预训练在自然语言处理的发展: 从Word Embedding到BERT模型》，获得了很多同学的关注，现在更详细的解读来了，发表在张俊林博士的知乎专栏：深度学习前沿笔记。以下是张俊林博士的深度解读：Bert最近很火，应该是最近最火爆的AI进...
2018-11-12 20:03:32
638
原创 kali中安装vmtools时，没有压缩包的解决方法
之前都没有使用过kali 系统，今天安装之后，发现界面非常简洁，非常好看，而且功能很多，强力推荐。网上有很多的安装教程，这里就不说了。但是在安装vmtools时碰到的问题，主要记录下这个问题的解决。先看看kali的界面吧（这里是安装了vmtools）！！如果没有安装vmtools，虚拟机上的窗口会非常小，而且不能再主机与虚拟机之间传文件。问题：但是在点击VM中的“vmtools安装”之后...
2018-10-15 10:36:41
2096
转载 一文搞懂交叉熵在机器学习中的使用
一文搞懂交叉熵在机器学习中的使用 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。在使用交叉熵的时候，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了...
2018-10-09 15:09:32
1037
原创 备注：一个非常实用的深度学习的英文博客
备注：一个非常实用的深度学习的英文博客人工智能，深度学习和NLP: http://www.wildml.com/
2018-09-18 11:29:46
417
转载 NLP, 知识图谱参考资源
NLP 自然语言处理（Natural Language Processing）是深度学习的主要应用领域之一。 教程 http://cs224d.stanford.edu/ CS224d: Deep Learning for Natural Language Processing http://web.stanford.edu/class/cs224n/syllabus.html cs2...
2018-06-11 19:35:37
4138
转载 大规模知识图谱的构建、推理及应用
随着大数据的应用越来越广泛，人工智能也终于在几番沉浮后再次焕发出了活力。除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。 人工智能的进展突出体现在以知识图谱为代表的知识工程以及以深度学习为代表的机器学习等相关领域。 未来伴随着深度学习对于大数据的红利消耗殆尽，如果基础理论方面没有新的突破，深度学习模型效果的天花板将日益迫近。而另一方...
2018-06-07 20:26:00
2801
原创 卷积神经网络(CNN)在句子建模上的应用
大神的博客：http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html
2018-06-06 16:54:05
530
转载 辨析matmul product（一般矩阵乘积），hadamard product（哈达玛积）、kronecker product（克罗内克积）
矩阵乘法 1. matmul product（一般矩阵乘积） m x p矩阵A与p x n矩阵B，那么称 m x n 矩阵C为矩阵A与矩阵B的一般乘积，记作C = AB ，其中矩阵C元素$ [cij]为矩阵A、B对应两两元素之和，表示为： 例子： 2. Hadamard product（哈达玛积） m x n矩阵A = [aij]与矩阵$B = [bij]的Hadamard积，记...
2018-06-01 11:05:53
3336
转载 神经网络结构在命名实体识别（NER）中的应用
神经网络结构在命名实体识别（NER）中的应用近年来，基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别（Named Entity Recognition，NER）也不例外，神经网络结构在NER中也取得了不错的效果。最近，我也阅读学习了一系列使用神经网络结构进行NER的相关论文，在此进行一下总结，和大家一起分享学习。 1 引言 命名...
2018-05-30 17:51:22
1340
原创 Python3 解决编码问题： `UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: ille
python3 解决编码问题： UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: illegal multibyte sequence — 当执行爬虫将爬取信息打印到终端时出现的编码错误Python 版本：python-3.5.0-amd64目标网站：http://blog.csdn...
2018-05-14 16:16:49
1116
转载 关于信息抽取的整理总结(下)
4. 实体抽取和发现4.1 关系抽取任务定义Alexander Schutz等人认为关系抽取是自动识别由一对概念和联系这对概念的关系构成的相关三元组。 Example1: 比尔盖茨是微软的CEO CEO(比尔盖茨, 微软) Example2: CMU坐落于匹兹堡 Located-in(CMU, 匹兹堡) Example3:Michael Jordan获得1997/98赛季的M...
2018-05-14 16:10:40
3059
转载 项目实战：如何构建知识图谱
作者丨徐阿衡学校丨卡耐基梅隆大学硕士研究方向丨QA系统实践了下怎么建一个简单的知识图谱，两个版本，一个从 0 开始（start from scratch），一个在 CN-DBpedia 基础上补充，把 MySQL，PostgreSQL，Neo4j 数据库都尝试了下。自己跌跌撞撞摸索可能踩坑了都不知道，欢迎讨论。1. CN-DBpedia 构建流程知识库可以分为两种类型，一种是以 Freebase，...
2018-05-14 16:10:27
60502
13
转载 用深度学习解决大规模文本分类问题
用深度学习解决大规模文本分类问题 人工智能头条 2017-03-27 22:14:22 淘宝 阅读(228) 评论(0) 声明：本文由入驻搜狐公众平台的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。举报 作者：清凇 阿里巴巴搜索排序算法工程师 原文：https://zhuanlan.zhihu.com/p/25928551 AI技术投稿、约稿、请发送邮件至he...
2018-05-14 16:09:20
2225
转载 LIME：一种解释机器学习模型的方法
原文链接：LIME - Local Interpretable Model-Agnostic Explanations 译者：赵屹华 审校：刘翔宇 责编：周建丁（投稿请联系zhoujd@youkuaiyun.com）在本文中，我们将介绍一种方法，用来解释这篇论文中的任何一种分类器的预测结果，并且用开源包来实现。动机：我们为什么要理解预测结果？机器学习如今是非常火的一个话题。随着计算机在围棋等游戏中击败人类专家...
2018-05-14 16:05:38
3185
转载 关于信息抽取的整理总结(上)
动机自然语言处理的课上老师介绍了关于信息抽取的相关内容，结合老师课件提到的相关文献，写一篇整体的总结将本类文献进行汇总，以便后续根据研究需要引用和深入阅读文献。1. 信息抽取概述1.1 信息抽取定义一般意义上，信息抽取的定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术[1]。1.2 信息抽取的任务实体识别与抽取实体消岐关系抽取事件抽取2. 实体识...
2018-05-09 21:19:14
5314
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人