一介北漂

prim

利用堆栈方式，入栈出栈&运算符运算等级，进行计算； 同一级的运算符，递归计算完，作为一个整体，压入栈；如此反复；按照运算优先级递增的顺序压栈，如果出现非此顺序计算符，则将原来的运算符&数字出栈计算，结果再压栈； # ELEMENT=['+','-','*','/'] import re LEVEL_1=['+','-'] LEVEL_2=['*','/'] LEVEL_3=['('] LEVEL_4=[')'] def is_symbol(element): if ...

representation N is the number of Nodes node feature neighbourhood+leakrelu->node update with head=k multi-head+neighbourhood->node graph相关的算法，都是相邻点的embedding表达，不断的迭代， gat就是 通过建立相邻边的attention，来拟合周边attention， multihead机制，提升图attenti

gda: x as variance, P(y) as prior probility 高斯分布公式 梯度下降公式牛顿公式 梯度下降公式 logistic classification input: gda:基于类别的变量高斯分布,基于变量分布，带入label，进行P的输出判断 lr:基于整体的分布，进行P的输出判断 ...

思路:将数值列表分段,每个段对应一个代表数值， 数值段排序； 查询时候，从高层开始查询，递归溯源至底层两点之间，然后进行插入； 插入时候，每层均插入该段的代表点 应用:1.快速查询，数据进行分段 定位段首为代表值； 2.二分查找算法，将数据整理为二分形式，链表形式 ...

1.hnsw 原理: 建立graph，目标是索引查询时候，可以从全局查找到距离最近点；为了在海量数据提速， 每个点的临近点要可以索引到全局变量，同时减少索引数据数量，所以要建立树形结构一样的数据形式，通过有限的节点搜索，得到全局的点。方式就是在插入时候，根据插入的先后，先插入的数据数量少，可以全局进行检索建立关联，后插入的数据。 建立多层 索引树， 每层的节点是下层的随机子元素，如此进行循环处理。 相似度检索，每次从最上层检索最相近的点，然后继续进行检索，...

话术澄清模块: 实体反问,query改写,话术推荐,确认选择 触发条件:意图/faq置信度不足,实体缺失, reference https://developer.aliyun.com/article/276269

Joint Embedding of Words and Labels for Text Classification Multi-Task Label Embedding for Text Classification

1.apriori:对每个关联关系中的元素进行所有xi 2.fp-growth

基于 keyword deep semantic matching paper, keyword方面的关键代码复现 应用：1.对同一个embed-represent 的表达， 从 a,b-keyword角度进行attenion生成新的向量，再进行拼接，生成整体的表示向量 2.基于a,b的keyword-mask，和 a,b的mask真实表示，生成新的attention-mask矩阵，keyword-b和seq-a有交互的地方标记为1，如此作为attention添加到s......

bert存在问题: 共现: bert 模型的原理，利用上下文c对token的概率求导，本质是 c与token的共现关系 编辑距离与similarity关系:bert模型编辑距离越大，similarity越小，edit-distance越小，similarity越大， bert-flow则相反，均匀分布，similarity与编辑距离无关 高频词低频词与均值的分布关系，语义不完整的空间存在:以整体语义向量均值为原点， 高频词接近原点，低频词远离，分布不均，不在同一个空间 ...

整体公式如下: 总结: 门控机制引入，类比于lstm/gru， 进行e_i 和 e_mask的融合，门控机制通过sigmoid(gru) 进行计算, 同时 ce(fc(gru))可以计算是否coef的判别 纠错和预测作为multi-task 创新点: 门控机制的类比，是参差网络的一种类似的结构，更多的信息处理， 对e_mask和e_i进行门控融合;业务层面引入e_mask作为对coef错误的替代; bert-enc...

总结:常规的二分法确定一个target的区间，通过mid与left/right的大小，进行l/r_pointer的移动； 此处是确定一个区间，通过对target_tuple的分别确定，组合确定一个整区间 错误之处:array[mid]==target时候，直接返回，不等于时候，根据移动l/r，决定+1/-1 def binary_search(sub_array_1d,target): left=0 right=len(sub_array_1d) ...

1.顺序遍历找出最长的词，依次递推，长度作为是否切分的评判标准 应用:分词,短语匹配 # coding=utf-8 import numpy as np import pandas as pd class IMM(object): def __init__(self,vocab_txtpath): self._vocabs=[] with open(vocab_txtpath,'r') as fr: for l...

编辑距离 核心dp公式 # coding=utf-8 import numpy as np def edit_distance(string1,string2): len1=len(string1) len2=len(string2) matrix=np.zeros(shape=[len1+1,len2+1]) for i in range(len2): matrix[0][i]=i for j in ra...

1.self-attention 对序列进行embedding增强，不做维度降维 2.hierarchialAttention 对维度进行降维 3.BahdanauAttention 对encoder-decoder进行encoer-embedding，不做维度降维

1.通常的算法 ，n个参数，通过最后的 观测值，偏导的形式进行参数学习拟合 2.有一种情况，存在 隐状态的情况下，无法直接进行拟合 ，由带有隐状态的全概率 公式可知 整体概率公式 取log 很难直接求 就利用 em算法，迭代逼近最佳值 隐变量和自变量，随机自变量 初始化，根据观测值，利用极大似然求隐变量 如此循环 求隐变量和自变量 ...

二分查找 常规思路: 1.找到中间值，判断与待查找值大小，分别去左右序列中的中间值比较大小 2.如果某序列为空，则返回 依据生成的文本摘要，从原文中找出对应的相似的句子，作为当前节点，由于summary的前后顺序性，所以可以理解为二分查找的思路，分别从左右继续进行查找 核心逻辑 def extract_matching(texts, summaries, start_i=0, start_j=0): ##?? 怎么抽取匹配 """在texts中找若干句子...

最大熵 maximum entropy 数据分布越均匀 ，熵越大，数据分布 趋向于极值，熵最小 交叉熵 cross entropy 软交叉熵 softmax cross entropy 接近于最大熵 原理，分布越均匀 ，值越大 ，在 label数量 一定的情况下，log前后值越接近 ，值越大 ...

decoder本质是一个lm问题 常用框架：encoder+decoder， 技术： seq2seq+attention-mechasim encoder处理trick：增加feature输入维度要远好于语料累加； feature维度：tfidf，ner，pos decoder：利用 encoder-sequence+encoder-word-attention+encoder-sentence+attention oov问题解决：lvt，利用decoder时候门口机制，generator/po..

样本 总体 sample population sample足够大，代表整体 sample次数足够多，代表 均值 期望 对应 加权平均 mean ， averrage 平均值，算术平均 sample 代表 整体的可信度，引入置信度 dispersion 离中趋势， 方差 sample 取样数量多 ，接近于整体，趋向于中心轴 样本离散在概率预测中代表什么 概率预测在不同样本中 起伏大，说明不稳定，方差大，说明置信度低 标准差，方差在概率预测中， 误差和标准差的关系？...

分类，回归， 特征提取 基函数的线性组合， 训练过程产生的残差，达到数据分类或者回归的目的 每个 分类器在上个分类器残差的基础上进行迭代 ？？残差基础上进行迭代什么意思 ？？ 残差就是当前模型的 负梯度值 每轮迭代产生弱分类器， 弱分类器的要求是 低方差，高偏差 ？？高偏差如何理解 ， 低方差高偏差，指的是谁的低方差，谁的高偏差 ？？ 每轮迭代 如何理解 每轮训练 得到的弱分类器加权求和得到 ？？ 如果是 线性 组合 基函数， 那么 如果是分类正确，残差不大 ，怎么处理 呢 0-1损失 函数

1.bfs 广度搜索 时间复杂度 O(V+E),所有节点和所有边都需要遍历，判断是否满足某个条件组合。 每条边都有两个Node，只算边的话，会有缺失，所以是 V+E 三元组，词共现 类似于有向边，从前到后，所以E=所有边的数量，即O(n3)或者O(n2); 并没有比遍历穷举快，只是另一种表现形式 ...

1.Hierarchical Attention Networks for Document Classification word encode char encode =>sentence encode ==>attented-sentence encode=>document encode==>softmax

1.self-attention 理解：最终是要输出，假设按照输入长度输出，就要在每个位置有对所有输入有个softmax-weigth的累加。 softmax-weight 来自于 输入embedding 做k，输入embedding做v，矩阵转置相乘得到一个相同尺寸的矩阵，含义是每个位置上，所有位置对此位置的权重值，sofamax后即得到0-1之间的权重值w。然后 讲原始e...

def mse_loss(y1,y2): return tf.reduce_mean(tf.squared_difference(y1, y2)) def arcface_loss(embedding, weights, labels, s=64., m=0.5, m3=0.1): # def arcface_loss(x,y) ''' ...