字节自然语言处理算法校招面经整理（二）

面经来源：https://zhuanlan.zhihu.com/p/87147047

一面请移步：https://blog.youkuaiyun.com/qq_33331424/article/details/109397587

•  介绍一下CRF

CRF属于概率图中马尔可夫网的一种，是一种无向图，可用来做序列标注或句法分析任务。

• 介绍交叉熵loss公式
• 说一下BERT与ELMO的区别
• pytorch的代码流程（我是这样回答的：预处理数据/词表-写好模型-定义损失和优化器-训练-测试）
•  Dropout的原理
• sgd与adam的区别
• L1 L2正则化
• 编程题：最快速度最小空间求一个数组的第k小

# 和leetcode 面试题 17.14:最小K个数类似，不过该题返回的是第k小，而不是最小的k个数
class Solution:
    def fast_partition(self, arr, left, right):
        p = arr[left]
        index = left
        while left < right:
            while left < right and arr[left] <= p:
                left += 1
            while left <= right and arr[right] > p:
                right -= 1
            if left < right:
                arr[left], arr[right] = arr[right], arr[left]
        arr[right], arr[index] = arr[index], arr[right]
        return right
    def fast_sort(self, arr, left, right, k):
        if left + 1 <= right:
            mid = self.fast_partition(arr, left, right)
            if k == mid:
                return mid
            elif k > mid:
                return self.fast_sort(arr, mid + 1, right, k)
            else:
                return self.fast_sort(arr, left, mid - 1, k)
    def smallestK(self, arr: List[int], k: int) -> List[int]:
        mid = self.fast_sort(arr, 0, len(arr) - 1, k)
        return arr[k-1]

三面
自我介绍+项目
x, y是独立的随机变量，方差期望已知，那么如何求 xy 的方差
讲一下BERT
SoftMax + CrossEntropy的反向梯度求导