weixin_42045968的博客

GLM是2020-2021年由智谱AI研究并发布的预训练语言模型。GLM是一种基于`自回归空白填充`的通用预训练语言模型。GLM 通过添加`二维位置编码`和`允许任意顺序预测空白区域`，改进了`空白填充预训练`，在NLU任务上超越了 BERT 和 T5。GLM的网络架构使用的是多层Transformer Decoder改的结构。

## 一、背景信息：GPT3是于2020 年由OpenAI 发布的预训练语言模型。GPT3在自然语言处理（NLP）任务中表现出色，可以生成连贯的文本、回答问题、进行对话等。GPT3的网络架构继续沿用GPT1、GPT2的是多层Transformer Decoder改的结构。GPT3出自Language Models are Few-Shot Learners，语言模型是Few-Shot学习者。

PDF解析能够提升大语言模型系统的信息处理能力和应用范围，为用户提供更加便捷、高效、个性化的服务体验。本文介绍三种常用的pdf解析方式：`Open Parse`、`pdfplumber`、`PyMuPD`。

LLaMA（Large Language Model Meta AI）模型是于2020 年由发布的一个大型基础语言模型。LLaMA使用的数据集来源都是公开数据集，无任何定制数据集。LLaMA性能的亮点充分地证明了高质量数据的重要性，而不是一股脑地叠加网络深度以及参数量。

GPT2是2019年由OpenAI 提出的预训练语言模型。GPT2提出语言模型式`无监督的多任务学习` 。旨在通过无监督学习也能达到和finetune一样的效果，并且拥有更强的泛化能能力。即提出利用语言模型做下游任务时，不需要下游任务的任何标注信息（zero-shot设定），也不用训练模型。只需要训练一个模型，在多个任务上都能用。

对比学习 是一种特殊的`无监督学习方法`。旨在通过`拉近相关样本的距离`并且`推远不相关样本的距离`，来学习`数据表示`。通常使用一种高自由度、自定义的规则来`生成正负样本`。在模型预训练中有着广泛的应用。

RetroMAE是2022年10月由北邮和华为提出的一种密集检索预训练策略。RetroMAE主要应用于检索模型的预训练，模型架构为非对称的Encoder-Decode结构。

GPT是2018 年 6 月由OpenAI 提出的预训练语言模型。GPT可以应用于复杂的NLP任务中，例如文章生成，代码生成，机器翻译，问答对话等。GPT也采用两阶段的训练过程，第一阶段是无监督的方式来预训练生成式的语言模型，第二阶段根据特定任务进行微调。GPT的网络架构使用的是多层Transformer Decoder改的结构。

基础模型（transformer、bert、gpt等）句子向量（simcse、retroMAE、sbert等）文档解析（openpaser、fitz等）向量库（faiss、es等）

Bert是2018年10月由Google AI研究院提出的一种预训练模型。主要用于自然语言处理（NLP）任务，特别是机器阅读理、文本分类、序列标注等任务。BERT的网络架构使用的是多层Transformer结构，有效的解决了长期依赖问题。

BEIR(A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models)文本检索任务的基准，使用`18 个数据集`为检索系统的零样本评估提出了一个标准化基准， BEIR 基准上在`9个不同领域的检索任务`评估 `10 种不同的检索方法`。

C-MTEB 有35个数据集，覆盖文本召回(NDCG@10)，排序(MAP)，分类(average precision)，相似度匹配(Spearman’s correlation)，聚类(average precision)，文本对分类(average precision)共六个方向，最终模型表现由6大任务指标取平均值得到。

MTEB（Massive Text Embedding Benchmark）涵盖112种语言的58个数据集，包含如下`8种任务`。

1. MRR （Mean Reciprocal Rank）平均倒数排名2. AP（Average Precision）平均精度3. MAP（Mean Average Precision）平均准确率等检索评估指标

Transformer是一种由谷歌在2017年提出的深度学习模型。主要用于自然语言处理（NLP）任务，特别是序列到序列（Sequence-to-Sequence）的学习问题，如机器翻译、文本生成等。Transformer彻底改变了之前基于循环神经网络（RNNs）和长短期记忆网络（LSTMs）的序列建模范式，并且在性能上取得了显著提升。

优化器 是为了让参数根据损失函数更快更准的朝着最优方向更新的一种策略。神经网络是根据损失函数不断调整网络参数，使得最终能够获得近似最优解。

模型包括编码器和解码器两部分编码器：将输入的句子（源句子）转换为固定长度的语义向量 解码器：读取该矢量并直接生成三元组。

线性链条件随机场用于标注问题，在条件概率模型P(Y|X)中，Y是输出变量表示标记序列，X是输入变量表示需要标注的观测序列。设有联合分布P(Y)，由无向图G=(V, E)表示，在图G中，节点表示随机变量，边表示随机变量之间的依赖关系。均为线性链表示的随机变量序列，若在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔可夫性。条件随机场，设X与Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布。对任意结点v成立，则称条件概率分布P(Y|X)为条件随机场。

本文只关注决策树的生成算法，介绍决策树的实现步骤。

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态的序列，再由各个状态随机生成一个观测而产生观测的序列的过程。

激活函数（Activation functions）对于人工神经网络 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。

TPLiner，解决了之前的联合抽取模型中出现的问题，曝光偏差，即在训练阶段，与推理阶段不一致产生的影响，在解码阶段需要分多步进行,这也是它们存在曝光偏差的本质原因，TPLinker 将联合抽取描述为一个 token 对链接问题，并引入了一种新的连接方式。

事理知识图谱可以将文本中对事件以及事件之间的关系抽取并抽象出来，构建成一个有向图形式的事理知识库。在结构上，事理知识图谱是一个有向有环图，其节点表示事件，有向边表示事件之间的演化关系，比如顺承、因果、条件和上下位等逻辑关系。事理知识图谱是描述事件之间演化规律和模式的事理逻辑知识库。

图G由节点集合V=V(G)和边集合E=E(G)组成，其中V为非空有限集合。集合V中的节点（node）用红色标出，通过集合E中黑色的边（edge）连接。完全二分图 ：若V的每个顶点与U的每个顶点都关联，称为完全二分图补图：一个图G的补图Gˉ\bar{G}Gˉ也是以V(G)为顶点集的一个图，但是两个顶点在Gˉ\bar{G}Gˉ中邻接当且仅当它们在G中不邻接。下图b为a的补图。是完全图去除G的边集后得到的图。子图：所有顶点和边都属于图G的图称为G的子图生成子图：含有G的所有顶点的子图称为G的

知识图谱的向量表示：将知识图谱中包括实体和关系的内容映射到连续向量空间方法的研究领域。（也叫做知识图谱嵌入、知识图谱的表示学习、知识表示学习）知识图谱嵌入方法的训练需要基于监督学习。在训练过程中可以学习到语义层信息。

ecchart关系图展示（知识图谱）

python链接neo4j

很久没有在优快云上编辑文字了。想打一些公式却不记得了如何进行编辑。好在浏览器收藏夹里收藏着：公式编辑：http://ctex.math.org.cn/blackboard.html直接录入数学公式；键盘同时按下CTRL+SHIFT+L复制LATEX源码到论坛发帖框；LATEX源码放在$之间;忘记了在哪里窥探到这个链接的分享，感谢这位大佬！...

分类模型的性能根据模型正确和错误预测的检验记录计数进行评估，这些计数存放在混淆矩阵表格中––––

词向量：是一种表示自然语言中单词的方法，把每个词都表示为一个N维空间内的点，即一个高维空间内的向量。通过这种做法，把自然语言计算转换为向量计算。有的时候词向量会写作：word2vec、word2vectors这里面的2并不是er，而是使用了英语读音的to。word to vectors 词转换为向量。分词对于人类的思维方式来说，人类喜欢将零零散散的词汇拼凑在一起形成一个语句或是一幅篇章。比如...

一阶谓词逻辑表示法以数理逻辑为基础，是一种重要的知识表示方法。知识的谓词逻辑表示方法谓词公式， 用谓词联接符号将一些谓词链接起来所形成的公式。利用谓词公式既可以表示事物的状态、属性和概念等事实性的知识，也可以表示事物间因果关系等规则性知识。例如：事实性知识“张三是学生，李四也是学生”可以表示为:ISSTUDENT(张三)∨ISSUDENT(李四)                     ...

知识表示方法概述知识、信息、数据数据是记录信息的符号，是信息的载体和表示。信息是对数据的解释，是数据在特定场合下的具体含义。知识，一般把有关信息关联在一起所形成的信息结构称为知识。知识的特性知识是人们在长期的生活及社会实践、科学研究及实验中积累起来的对客观世界的认识与经验，人们把实践中获得的信息关联在一起，就获得了知识。1、相对正确性，世界上没有完全正确的知识，而是相对正确的。比如...