算法面试题_快手

1. bert的细节：

ⅱ. embedding相加的策略会不会有问题？为什么 Bert 的三个 Embedding 可以进行相加？
  1. 邱锡鹏：频率不同的信息即使是叠加，在后续都可以进行解耦的操作进行“还原”，也可能已经解耦在不同维度中了（不同频率对应的就是不同维度）。
  2. 苏神：
ⅲ.  bert预训练的mask策略
  1. Bert 的 MASK 机制是这样的：它以 token 为单位随机选择句子中 15% 的 token，然后将其中 80% 的 token 使用 [MASK] 符号进行替换，将 10% 使用随机的其他 token 进行替换，剩下的 10% 保持不变。

2. set（集合）和哈希表（字典）的区别

ⅰ. 哈希表 - 键值对。集合 - 值

3. 多头注意力的伪代码：

import torch
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super(MultiHeadAttention, self).__init__()
        self.num_heads = num_heads
        self.d_model = d_model
        self.head_dim = d_model // num_heads

        self.q_linear = nn.Linear(d_model, d_model)
        self.k_linear