- 博客(12)
- 收藏
- 关注
RSS订阅原创 专家系统总结
本学期主要学习的一门课程是专家系统，学期结束，对这门课程进行总结，参考书目是蔡自兴，[美] 约翰·德尔金，龚涛 著的《高级专家系统：原理设计及应用（第2版）》文章目录1. 基本概念1.1 专家系统的组成部分1.2 专家系统中常用的知识表示的方法1.3 不确定推理1.4 专家系统中常用的解释机制1.5 产生式系统1.6 推理的类型1.7 基于框架的专家系统的框架间的关系2. 计算题2.1 模糊关系的计算2.2 神经网络的计算2.3 遗传算法的计算3. 构建专家系统3.1 构建基于规则的专家系
2021-07-08 00:08:04
2175
1
原创 对比学习论文列表（持续更新）
representation learning with contrastive predictive coding提出一种互信息+噪声对比估计的对比学习的方法论文 博客
2021-06-13 16:17:33
315
原创 论文阅读：数据库 知识蒸馏
论文：《Towards a Universal Continuous Knowledge Base》这篇文章的主要工作就是将持续的知识库融入神经网络的训练当中，同时将多种神经网络结合在一起达到不俗的效果。模型结果：周围的NN表示不同的神经网络，他们训练不同下游任务；M表示一个知识库，用来向神经网络中传输知识。同时一个任务的神经网络训练出来的知识也可以传入到知识库当中，用来辅助另外一个下游任务的训练。通过这种方法可以实现多种神经网络的知识共享：The knowledge encoded in one n
2021-05-28 13:15:08
282
原创 再读《attention is all you need》
Attention-> Attention seq2seq -> Transformer之前曾经手撕过Transformer的代码，但是时间太久了，目前忘的已经差不多了。最近在重新回顾一些NLP的基础方法的时候，感觉自己的基础还是太过薄弱，所以打算用这段时间好好对这些方法进行总结，而Transformer作为这几年的集大成之作，就拿他作为这个系列的第一篇。目前看到比较好的文章：讲transformer比较详细的手撕代码比较详细的Seq2Seq模型：出现在输入和输出不一致的情况，属
2021-03-29 21:55:22
167
原创 预训练模型adapter的几篇论文概述
最近阅读几篇 distillation-adapter论文，要求掌握理解算法，和大家分享一下：第一篇是huggingface的adpater代码库，其中详细讲解了在transformer中加入adapter层和adapterfusion层，第二篇论文在adpater代码库中也可以找到，主要是将已经训练好的multilingual模型移到另外一种语言上，模型由三部分组成language, task, and invertible adapters组成，第三篇是使用CONTRASTIVE LEARNING来进行
2021-01-29 16:51:49
4643
原创 论文阅读：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
该论文是谷歌提出BERT时的原论文，在distill的时候感觉对于该模型的理解不够，所以再次对于该论文进行了阅读，希望有更好的理解。 BERT所提供的是一种预训练模型，所谓预训练模型可以理解为一个特征抽取器，在使用的时候就将这些预训练模型用到对应的数据集上进行fintune，具体理解可参考。1. BERT的网络结构2. BERT的输入表示BERT允许输入的字符的最大长度为512，由3部分组成：Token embedding： 根据词表将句子中的单词划分成每一个很小的单元Positio
2020-12-11 16:09:17
331
1
原创 distill论文总结（未待续）
目录1. An Empirical Investigation Towards Efficient Multi-Domain Language Model Pre-training1.1 主模型1.2 实验是A的先验概率或边缘概率后验概率：在得到信息之后再重新加以修正的概率，P(A|B)是已知B发生后A的条件概率，也由于得知B的取值而被称为A的后验概率。1.2 贝叶斯公式2. 代码实现西...
2020-05-14 23:19:02
3948
2
原创 神经网络实战之利用KNN进行情感分析 python实现 不使用sklearn库
本文使用KNN对消极和积极的英文评论进行分析，以消极和积极评论各2995条样例作为样本集进行实验，并且通过各2000条测试样例作为测试集判断准确率。代码没有调用sklearn库，所有的代码都是博主手写，数据集放在了本文的最后情感分析是根据文本所表达的含义和情感信息将文本划分成褒扬和贬义两种类型。目前，比较常用的分类算法有: 支持向量机 (SVM)、 贝叶斯 (NB)、K-近邻 (KNN)等，其...
2020-04-26 10:14:04
3658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人