lijiaqi0612的博客

Bert的双向体现在什么地方？mask+attention，mask的word结合全部其他encoder word的信息Bert的是怎样实现mask构造的？MLM：将完整句子中的部分字mask，预测该mask词 NSP：为每个训练前的例子选择句子 A 和 B 时，50% 的情况下 B 是真的在 A 后面的下一个句子， 50% 的情况下是来自语料库的随机句子，进行二分预测是否为真...

在cbow方法中，是用周围词预测中心词，从而利用中心词的预测结果情况，使用GradientDesent方法，不断的去调整周围词的向量。当训练完成之后，每个词都会作为中心词，把周围词的词向量进行了调整，这样也就获得了整个文本里面所有词的词向量。要注意的是， cbow的对周围词的调整是统一的：求出的gradient的值会同样的作用到每个周围词的词向量当中去。可以看到，cbow预测行为的次数跟整个文本的...

有一枚硬币，它的正反面概率是不一样的，假设概率为p，如何让其正反面概率变为一样的？思路：硬币只能出现正反两面，0代表正面，1代表反面，所以设0的概率为票，1的概率为1-pimport randomdef core(p): re_dict = { '01': 0, '10': 1 } re_temp = [] ...

几种常见的损失函数1. 损失函数、代价函数与目标函数  损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。  代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。  目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化...

题目描述：输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）思路：本题可以分为两步，第一步：找到A中与B的根结点值相等的结点R，第二步：判断以R为根结点的子树是否包含B一样的结构。本题思路不难，但是需要格外注意对指针空值的判断。# -*- coding:utf-8 -*-# class TreeNode:# def __i...

题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7 5...

题目描述输入一个链表，输出该链表中倒数第k个结点。思路1：1. 看到是单链表肯定不能反方向循环，倒数第k个节点，比如链表长度为6，倒数第三个也就是相当于正数第四个，符合6-3+1=4。2. 所以就想到了正向遍历链表两次，但两次复杂度又太高，再考虑能不能遍历一次，进而想到了快慢指针。3. 先判断头结点是否存在和k的大小，然后让快指针先走到第四个，也就是k的位置，然后慢指针从...