艰难困苦，玉汝于成。

全功能AI开发平台是一个综合性的平台，旨在支持各种人工智能（AI）应用的开发、部署和管理。这些平台通常提供一系列工具、库和服务，以帮助开发者、数据科学家和工程师创建和操作各种类型的AI应用。

Hugging Face是一个以自然语言处理（NLP）为重点的技术公司，也是一个开源社区和平台，旨在提供丰富的NLP模型、工具和资源。Hugging Face的目标是成为NLP领域的社区和创新驱动者，他们通过为开发者和研究人员提供开源工具、预训练模型和数据集来实现这一目标。Hugging Face的开源库和工具广泛应用于各种NLP任务，包括文本分类、命名实体识别、情感分析、机器翻译等。

ERNIE（Enhanced Representation through kNowledge IntEgration）是百度研发的一种基于深度学习的预训练语言模型。它通过大规模的无监督学习从大量文本数据中学习语义和知识表示。

R-Drop——神经网络的正则化DropOut，Dropout是一种强大且广泛应用的深度神经网络的调整训练的技术。尽管效果很好，但由于Dropout所带来的随机性导致了训练和实际之间的不一致性。在本文中，我们引入了一种简单的一致性训练策略来正则化dropout，即R-Drop，它强制dropout生成的不同子模型的输出分布彼此一致。具体来说，对于每个训练样本，R-Drop最小化dropout采样的两个子模型输出分布之间的双向kl -散度。理论分析表明，R-Drop降低了上述不一致性。

深度神经网络包含多个非线性隐藏层，这使得它们有强大的表现力，可以学习输入和输出之间非常复杂的关系。但是在训练数据有限的情况下，深度神经网络很容易过度学习造成过拟合，过拟合是深度神经网络的一个非常严重的问题，此外，神经网络越大，训练速度越慢，Dropout可以通过在训练神经网络期间随机丢弃单元来防止过拟合，实验证明Dropout有很好的效果。

最近的心情就像窗外的天气一样阴沉。。。

Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其创建的库Transformers被广泛使用，Transformers提供了数以千计针对于各种任务的预训练模型模型，开发者可以根据自身的需要，选择模型进行训练或微调，也可阅读api文档和源码， 快速开发新模型。：就是输入的待编码的序列（或1个batch的），可以是字符串或字符串列表。

早上没睡醒！又是在梦中被坏女人骗走感情的一天。

对于波士顿房价数据集的预测实战# 预测 20 世纪 70 年代中期波士顿郊区房屋价格的中位数# 数据点比较少，只有 506 个，分为 404 个训练样本和 102 个测试样本# 输入数据的每个特征都有不同的取值范围。(train_data , train_targets) ,(test_data , test_targets) = boston_housing . load_data() # 查看训练数据输出：可以看到数据量较少，数据维度是13维的。............

Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程，相比于Tensorflow，Pytorch简介易用。张量：张量是一种特殊的数据结构，与Numpy中的arrays非常相似，在Pytorch中，我们使用张量对模型的输入和输出以及模型的参数进行编码。注意：Tensors和Numpy中的数组具有底层内存共享，意味着不需要进行复制直接就可以相互转化。今天是周五哎，好耶。.....................

对于路透社数据集的评论分类实战# 加载路透社数据集，包含许多短新闻及其对应的主题，它包含 46 个不同的主题。# 加载数据：训练数据、训练标签；测试数据、测试标签。# 将数据限定为前 10000 个最常出现的单词。(train_data , train_labels) ,(test_data , test_labels) = reuters . load_data(num_words = 10000) # 查看训练数据输出。......

对于imdb数据集的评论分类实战# 加载imdb数据集# 25000 条训练和 25000 条测试数据# 训练集和测试集都包含 50 % 的正面评论和 50 % 的负面评论。# 已经经历过预处理，评论，单词序列已经转化为整数序列。# 加载数据：训练数据、训练标签；测试数据、测试标签。# num _words = 10000 ：保留训练数据中前 10000 个最常出现的单词，低频单词将被舍弃。这样得到的向量数据不会太大，便于处理。......

TextCNN是在2014年，由韩国人YoonKim于2014年在“ConvolutionalNeuralNetworksforSentenceClassification”一文中提出的算法。整体结构一层卷积，一层最大值池化，最后将输出外接softmax来进行n分类。因为网络结构简单所以参数数目较少，计算量少，训练速度快。这是TextCNN的优势。第一层（WordEmbedding构建词向量）首先需要将输入语句进行分词，之后将每个词都映射成相应词向量。即词语数值化，方便后续处理。......

激活函数是向神经网络中引入非线性因素，通过激活函数神经网络就可以拟合各种曲线（提供网络的非线性建模能力，如果没有激活函数，那么该网络仅能够表达线性映射）。激活函数主要分为饱和激活函数（SaturatedNeurons）和非饱和函数（One-sidedSaturations）。Sigmoid和Tanh是饱和激活函数，而ReLU以及其变种为非饱和激活函数。非饱和激活函数主要有如下优势1、非饱和激活函数可以解决梯度消失问题。2、非饱和激活函数可以加速收敛。............

二、一些注意问题2-1、网络构建方式可以是(通过构建器创建)：也可以是（通过add方法构建）：2-2、确定模型输入数据的规格第一层需要通过参数传递告知模型数据规格，后边的层不需要，因为可以自动的根据第一层的输出进行推导。通过input_shape参数：也可以通过input_dim参数设定，和上边的含义类似：注意：input_shape=(28✖28,)代表的是输入的数据是28✖28维的一阶向量。input_shape的格式是元组，所以必须写为(28*28,)这种形式。参考文章：通过Sequ

循环神经网络（RNN），长短期记忆网络（LSTM），门限循环单元（GRU）。RNN原理：神经网络模块A，读取到某个输入x,并且输出一个值h，循环可以使得信息可以从当前一步传到下一步。RNN本质上是与序列和列表相关的。展开来看，RNN可以被看做是同一神经网络的多次复制，每一个神经网络模块都会把信息传递给下一个。展开上图的循环可以得到：注意：每一个神经网络模块所用的权重参数都是共享的，即权重共享。RNN的缺点：1、受到短时记忆的影响，如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步，

Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。

GCN（Graph Convolutional Network）图卷积网络笔记一、CNN和GCN？1、处理数据结构不同2、特征提取2.1 卷积特征提取2.1 空域方法2.1 频域方法二、图卷积理论基础1、图的拉普拉斯矩阵1.1 傅立叶变换2、这两种变换的关系3、GCN最重要的结论三、图卷积1、傅里叶与卷积的性质2、图的傅立叶变换的矩阵形式3、图卷积4、图卷积网络5、卷积层公式6、图卷积网络公式结语：一、CNN和GCN？1、处理数据结构不同CNN处理的数据是矩阵形式。GCN处理的数据是拓扑结构（图结构

深度学习基础知识一、什么是归一化，它与标准化的区别是什么？二、请问人工神经网络中为什么RELU要好于tanh和Simoid？三、什么样的数据集不适合用深度学习？四、如何缓解梯度消失和梯度爆炸？五、简单说说CNN常用的几个模型六、如何确定是否出现梯度爆炸七、请阐述卷积神经网络CNN的基本原理。八、CNN究竟是怎样一步步工作的？九、当神经网络调参效果不好时，从哪些角度思考？十、通俗理解BN（Batch Normalization）？十一、如何理解反向传播算法？一、什么是归一化，它与标准化的区别是什么？二、请

交叉熵损失（categorical_crossentropy）和稀疏交叉熵损失（sparse_categorical_crossentropy）的用法交叉熵损失稀疏交叉熵交叉熵损失如果使用到了one-hot编码，则使用的就是交叉熵损失。稀疏交叉熵一般情况下使用的都是稀疏交叉熵。...