sslfk的博客

使用anaconda 安装paddle gpu环境

国外资源国内镜像访问huggingface、git、pip源、conda源

已经开源的中文大模型对比

基于T5模型实现多任务训练

gradio 关于tab展示内容演示代码

asr声音内容识别

softmax的上溢和下溢问题

SparseCategoricalCrossentropy相关参数解析

tensorflow serving 关于模型的部署，客户端的请求方式

pytorch gpu版本安装

马尔可夫不等式 切比雪夫不等式 大数定理

cube-studio 部署过程

docker GPU基础镜像python

tfx airflow

过拟合 欠拟合

temporal dimension 时间维度spatial dimension 空间维度

1、tf.data.Dataset.from_tensor_slices使用a.对输入的类型异常敏感，遇到第一个为list或tensor类型作为维度作为切割维度。小数据内存处理时使用。b.对于外层tuple或dict的跳过不作为切割维度。例如，list数据格式slice#listlist(tf.data.Dataset.from_tensor_slices([[1,3,4],[2,3,4]]).as_numpy_iterator())Out[10]: [array([1,

import tensorflow as tffrom keras.utils.vis_utils import plot_modelinput = tf.keras.Input(shape=(100,), dtype='int32', name='input')x = tf.keras.layers.Embedding( output_dim=512, input_dim=10000, input_length=100)(input)x = tf.keras.layers.LSTM(3.

标准化，就是执行特征标准化层，第一种方式：通过数据计算出均值和方差：adapt_data = np.array([[0., 7., 4.], [2., 9., 6.], [0., 7., 4.], [2., 9., 6.]], dtype='float32')input_data = np.array([[0., 7., 4.]], dt

1、对单数据类型重复：np.repeat(3,2)#array([3, 3])np.repeat('abd',2)#array(['abd', 'abd'], dtype='<U3')2、对多维数据重复#未指定维度np.repeat([[1],[2],[3]],2)#array([1, 1, 2, 2, 3, 3])np.repeat([[1],[2],[3]],2)np.repeat(["abd","def"],2)#array(['abd', 'abd',

期望： 方差： 均方误差 mean square error:均方根误差root mean square error:

Hugging Face – The AI community building the future.Machine Learning Datasets | Papers With Code

1、transformer整体流程：2、dot-product attention以及分别对应的在encoding和decoding中对应的内容：对应的公式为：1、 对于encoding部分来说，Q、K、V都是输入的序列向量矩阵，比如，输入 我爱你，则三个对应的都是对每一个字进行enbedding后的序列矩阵A；而对应就是value值对应的权重，可以称之为输入词的重要性权重2、对于decoding来说，第一步时，设置一个默认开始内容，后面内容（假设最长长度用n全部遮罩处理后最为o

Batch Normalization(BN)是深度学习中非常好用的一个算法，加入BN层的网络往往更加稳定并且BN还起到了一定的正则化的作用。在这篇文章中，我们将详细介绍BN的技术细节[1]以及其能工作的原因[2]。在提出BN的文章中[1]，作者BN能工作的原因是BN解决了普通网络的内部协变量偏移（Internel Covariate Shift, ICS）的问题，所谓ICS是指网络各层的分布不一致，网络需要适应这种不一致从而增加了学习的难度。而在[2]中，作者通过实验验证了BN其实和ICS的关系并不大