for_yayun的博客

tensorflow2X训练lstm文本分类。

前提：在招投标数据领域中，我们对IT类的数据进行了NER提取，发现其精度一直在73-79之间，即使调整相关参数难以提升（当然没有考虑用bert）。下面是我从规则方面提升精度的方法记录：1，总的方法：去除无用标签，且标签F1精度不高于30的。依据NER的精度提升优化来改动了相关的参数，降低学习率，调低loss值预处理数据删除干净，如：前端网页标签、\t、\n 和空格等等模型+规则的过滤匹配，清理掉无用的数据数据在输入模型做数据提取时要将太长的文章进行切分。2，注意重点过滤数据规则如何确定？正

Windows安装TensorFlow在线安装nightly包pip install tf-nightly若要安装最新的GPU版本可以使用如下命令：pip install tf-nightly-gpu可能会出现的问题ERROR: tb-nightly 1.14.0a20190604 has requirement setuptools>=41.0.0, but you'll have setuptools 39.0.1 which is incompatible.需要更新setu

1.spark的核心抽象：RDD为什么要做RDD这样的抽象呢？主要是因为它的一致性、高效并行、容错机制，RDD屏蔽了分布式的复杂性，使开发程序时简单如写单机程序。RDD也提供了一些操作，如transform和action，通过对RDD操作业务的封装以及计算逻辑，我们就会形成一个大的DAG计算图（参考下图右）。2.spark的大数据生态：这部分是讲spark的数据生态，包括它支持的组件库、...