233彭于晏的博客

前言 最近在项目中使用BERT更新了服务久矣的TextCNN，但更新之路较为崎岖。线下验证BERT-Base版本较TextCNN提高较为明显，但是推到线上，Inference时间爆炸了；无奈，只好减少Transformer层数，由12层减少到4层，由于此项目场景下的Input较短，所以使用4层Transformer并没有太多效果层的损失，性能上Inference时间减少了2.3倍，后面又将服务由...

1 功能 一维卷积一般用于处理文本数据，常用语自然语言处理中，输入一般是文本经过embedding的二维数据。 2 定义 tf.layers.conv1d( inputs, filters, kernel_size, strides=1, padding='valid', data_format='channels_last', dilation_rate=1, activation=No...

tf.estimator是tensorflow的高阶api，使用下面代码可以实现限制显存，0.8代表使用80%的显存。 session_config = tf.ConfigProto(log_device_placement=True,allow_soft_placement=True) session_config.gpu_options.per_process_gpu_memory_fra...