Iswayzw的博客

BART是兼具上下文语境信息和自回归特性的Transformer，由FaceBook于2019年提出，。BART继承了Transformer全部的编码器解码器架构，能够胜任各项任务，翻译就是其中之一。本文聚焦于在英中文翻译任务中微调BART的代码实现。

注意力机制的本质是加权求和，评分函数a计算查询与键之间的注意力分数，经过softmax计算得到注意力权重，权重与值进行加权求和得到注意力输出。

BERT(Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型。其模型结构由多层Transformer的Encoder堆叠而成，在大规模语料中进行预训练后，迁移到下游任务，仅进行参数微调训练，就能显著提升性能。本文聚焦于微调中文BERT进行新闻标题分类任务的代码实现。

腾讯AI实验室于2021年12月24日发布了中文词向量0.2.0版本。相比已经存在的中文词向量模型，腾讯词向量的优越性在于：覆盖面广、新颖以及准确性高。

在算法比赛中，往往存在类别不均衡的问题，在有“偏见”数据上训练出的模型可能不是最优的。如果我们能在模型预测出的各类别分数上，添加权重因子，并利用优化算法自动计算这些因子的值，使预测结果达到验证集上的最优，那么在测试集也许会有提升。

手写两层神经网络来拟合函数y = x1^2 + x2 + 100 (2)，添加激活函数，讨论预测效果差的原因。

神经网络拟合曲线以优化经验分享

使用miniconda在linux系统中从零搭建pytorch运行环境。

手写神经网络来拟合函数y = x1^2 + x2 + 100摘要本文首先生成数据，然后搭建包含一层隐藏层的神经网络训练数据，最后利用测试数据评价模型的拟合效果。本文没有讲神经网络的原理以及推导过程，适合读过神经网络原理，想要动手实现的同学参考。数据生成import numpy as npfrom matplotlib import pyplot as pltfrom mpl_toolkits.mplot3d import Axes3D# y = x1^2 + x2 + 100# 生成训练