
NLP学习
ljx0951
这个作者很懒,什么都没留下…
展开
-
Tensor is unhashable if Tensor equality is enabled. 解决方案
具体的报错信息如下:Tensor is unhashable if Tensor equality is enabled. Instead, use tensor.experimental_ref() as the key.报错地方的代码如下,使用的tensorflow版本为2.0self.best_model = tf.keras.models.load_model(self.save_model_path)batch_logits = self.best_model(tensorized_s原创 2020-11-20 09:52:23 · 740 阅读 · 1 评论 -
解决tf2.0报错:InvalidArgumentError: In[0] is not a matrix. Instead it has shape [4]
搞了好久,作为一次记录当出现not a matrix时,考虑是否添加了batch_size。。上图为报错的具体代码,下图为修改之后的代码:核心就是后边添加了batch这一操作,问题顺利解决~~原创 2020-06-15 23:59:27 · 3312 阅读 · 2 评论 -
解决tf2.0中model.save()保存pb模型时cannot be saved because the input shapes have not been set.的报错
在进行保存模型时,TF2.0有三种保存方式,分别是model.save_weights('filepath');model.save('filepath',save_format='tf');tf.saved_model.save(model,'filepath')三种方式都有各自的特点:save_weights只保存模型权重,意味着当你要加载模型时,需要先搭建原来的模型,然后load一下参数从文件中,加载参数文件使用model.load_weights('filepath')。 model.sa原创 2020-06-05 18:41:40 · 5902 阅读 · 4 评论 -
垃圾邮件分类的各种尝试(深度学习篇)【附代码】
垃圾邮件分类的各种尝试(深度学习篇)文章目录垃圾邮件分类的各种尝试(深度学习篇)数据集格式清洗数据集使用深度学习的方法GloVe + LSTM1. 读取数据2. 加载GloVe词向量3. 搭建网络整体结构4. 设置训练参数5. 训练模型并验证6. 总结上一篇博客主要介绍了利用机器学习的方法进行垃圾邮件分类,主要使用的方法有:朴素贝叶斯、SVM、逻辑回归、RF、XGBoost、LightGBM。垃圾邮件分类的各种尝试(机器学习篇)如果对上一篇博客介绍的方法已经掌握,那这一篇博客将打开新的世界。本篇博客原创 2020-06-02 17:14:46 · 7936 阅读 · 0 评论 -
垃圾邮件分类的各种尝试(机器学习篇)
文章目录数据集格式清洗数据集- 去掉停用词- 去掉URL- 去掉HTML标签- 去掉表情符号- 去掉特殊符号使用机器学习的方法朴素贝叶斯、SVM1.1 读取数据1.2 构造词频矩阵1.3 训练并预测1.4 利用其它特征(TF-IDF)逻辑回归(LR)随机森林(RF)XGBoostLightGBM总结垃圾邮件分类,作为初学者实践文本分类是一个不错的开始。文章将通过传统机器学习和深度学习的方法来解决分类问题。机器学习方法:朴素贝叶斯、SVM、逻辑回归、RF、XGBoost、LightGBM深度学习方法:(原创 2020-05-14 11:56:02 · 12313 阅读 · 5 评论 -
解决can't pickle generator objects问题
最近在学习用BERT去做NER任务,利用经典模型BERT+BiLSTM+CRF。通过看源码,发现了estimator这个高级的API,通过修改estimator的tf.contrib.tpu.TPUEstimatorSpec来将CRF_decoder后的分数输出。具体细节,就不在介绍了,跑题了~~不过强烈推荐学习tf.estimator的教程:https://www.w3cschool.cn/...原创 2020-04-24 23:57:06 · 10152 阅读 · 1 评论 -
Python导入CRFPP接口遇到的问题
在NLP分词操作中最给力的工具当属CRF++,首先这款工具是基于C++实现的。所以就得先检查一下自己的VisualStudio是否完好,是否还可以用。当然最好升级到2015以上版本,效果最佳!分享一个不错的CRF++地址:https://github.com/TATlong/CRF安装好CRF++后,进入python文件目录下(使用cmd进入目录)执行下边两条指令python set...原创 2019-12-28 19:12:32 · 544 阅读 · 0 评论