cdj0311的专栏

记录下，用tensorflow很容易实现，但Keras稍微麻烦点，基本思路就是先标记出输入序列中0和非0得到这样的序列：mask=[0,0,1,1,1]，其中0代表padding或者需要排除计算的位置，然后用这个序列跟Embedding结果进行乘积，将Embedding对应输入为0的向量置0，最后统计非0 位置向量的和除以mask的和即可。代码如下： import numpy as np import keras.backend as K from keras.layers import...

定义余弦相似度层，并在batch内进行负采样 NEG, batch_size = 20, 128 class NegativeCosineLayer(): """ 自定义batch内负采样并做cosine相似度的层 """ def __call__(self, inputs): def _cosine(x): query_encoder, doc_encoder = x doc_encoder_fd = doc_encod

keras一般保存为h5py格式的模型，当然也可以直接使用tf.saved_model保存为pb模型，那如果想将保存的h5py模型导出为pb模型该怎么办呢？以下代码就可以完成该项功能。 假设我们保存了keras的模型为model.json（结构）和weights.h5（权重）， 首先读取keras模型： # tensorflow == 1.13.1 import tensorflow as...

0. python打包并上传到hdfs # 安装Python mkdir Python export PYTHON_ROOT=~/Python tar -xvf Python-3.6.8.tgz pushd Python-3.6.8 ./configure --prefix="{PYTHON_ROOT}" --enable-unicode=cs4 make && make in...