cdj0311的专栏

记录下，用tensorflow很容易实现，但Keras稍微麻烦点，基本思路就是先标记出输入序列中0和非0得到这样的序列：mask=[0,0,1,1,1]，其中0代表padding或者需要排除计算的位置，然后用这个序列跟Embedding结果进行乘积，将Embedding对应输入为0的向量置0，最后统计非0 位置向量的和除以mask的和即可。代码如下：import numpy as npimport keras.backend as Kfrom keras.layers import...

定义余弦相似度层，并在batch内进行负采样NEG, batch_size = 20, 128class NegativeCosineLayer(): """ 自定义batch内负采样并做cosine相似度的层 """ def __call__(self, inputs): def _cosine(x): query_encoder, doc_encoder = x doc_encoder_fd = doc_encod

keras一般保存为h5py格式的模型，当然也可以直接使用tf.saved_model保存为pb模型，那如果想将保存的h5py模型导出为pb模型该怎么办呢？以下代码就可以完成该项功能。假设我们保存了keras的模型为model.json（结构）和weights.h5（权重），首先读取keras模型：# tensorflow == 1.13.1import tensorflow as...

0. python打包并上传到hdfs# 安装Pythonmkdir Pythonexport PYTHON_ROOT=~/Pythontar -xvf Python-3.6.8.tgzpushd Python-3.6.8./configure --prefix="{PYTHON_ROOT}" --enable-unicode=cs4make && make in...