1.16学习日记

今天学习的是第七节，自然语言处理与bert

一、自注意力机制（self-attention）

      常见的输入：

        图片、文字、声音

        Q：怎么用数据表示文字？

        A：用向量表示文字，Word Embeding

        独热编码的缺点：1）维度太长，2）体现不出关系

        利用神经网络学习词编码：让输入为独热编码，让模型自己学习。通过全连接将汉字编码为想要的维度。

      常见的输出：

        1）每个词都有输出一个值，2）所有词输出一个值，3）输入输出长度不对应

        序列问题要考虑前后关系

        经典模型：RNN模型 ->缺点：不适用于长序列 ->解决方法：长短期记忆（Long short-term memory,LSTM）->但是RNN和LSTM都太慢了

     Self-attention：自注意力机制

        Q：如何对输入数据分配注意力？

        A：利用点乘，且完全并行

        实际中多用多头自注意力机制

        词+位置=表示