ZJRN1027的博客

前言：上次记录了一下如何使用 TFRecord 来转存图片与 label ，后续经手了一些 NLP 任务，尝试使用了 TF 2.1.0，所以记录一下如何使用 TFRecord 来保存和读取文本数据。准备工作：TFRecord 无法直接记录文本信息，所以需要首先对文本内容进行一些预处理的准备工作，分别是分词，去停用词，建立词典，以及将文本转化为词典 index。再将 index 值写入 TFRecord。TFRecord首先这里把训练集和验证集分构造为了两个 DataFrame ，然.

一、前言本文是文本分类模型的第三弹，利用词袋模型（BoW），词频逆文档频率（TF-IDF）与 LightGBM 模型进行文本分类。原本计划的第三弹内容为 TextCNN 网络，介于最近刚刚利用 LightGBM 完成了一个简单的文本分类的任务，就趁热记录一下，作为第三弹的内容。这里是文本分类系列：文本分类模型第一弹：关于Fasttext，看这一篇就够了文本分类模型第二弹：HAN...

前言当 NLP 玩家遇到一个 CV 图像分类的任务时，老实的说，我是有点懵逼的。。。任务目标是，训练一个层数较少，结构较为简单的图像分类模型，使用其最后一层隐藏层输出，作为特征向量来表征图像。之前都是使用 Keras 较多，于是本次准备借着这个简单的任务上手 TensorFlow 2.1 。数据加载Python generator 出现的问题TensorFlow 2.1 自...

前言Bert (Bi-directional Encoder Representations from Transformers) Pytorch 版本源码解读的第三篇，也是最后一部分。这一部分为源码中， wiki_dataset.py 文件中的内容，主要实现了 Bert 模型预训练时，数据的预处理工作。读完这一部分源码有助于更好的理解模型的输入部分的数据是如何构造的。Bert 源码解读：...

前言这里是 Bert(Bi-directional Encoder Representations from Transformers) 源码解读的第二部分，第一部分主要介绍了 bert_model.py 文件中， bert 模型的定义。而第二部分为 BERT_Training.py 文件，该部分源码主要实现了 Bert 模型的预训练工作。Bert 源码解读：1. 模型结构源码：be...

前言Bert (Bi-directional Encoder Representations from Transfromers) 预训练语言模型可谓是2018年 NLP 领域最耀眼的模型，看过很多对 Bert 论文和原理解读的文章，但是对 Bert 源码进行解读的文章较少，这篇博客有一份 TensorFlow 版本的 Bert 源码解读，这里来对 Pytorch 版本的 Bert 源码记录...

一、前言最近工作中需要使用命名实体识别来做一版人名及机构名的预识别demo，评估了独立训练一套NER模型所耗费的标注成本巨大，加上目前只是对该需求进行demo版本的开发，所以花了一段时间对目前现有的开源 NER 工具包进行了调研及优缺点评估。这次主要使用的开源 NER 工具包有： StanfordCoreNLP https://stanfordnlp.github.io/Cor...

一、前言最近业务需要，要将一个RGB 色彩空间的颜色，转化到 LCH 色彩空间，生成渐变色，再转回 RGB 色彩空间。查遍网上，只有 Matlab 写的转换代码。没有 RGB 与 LCH 互转的 PYTHON 代码，所以自己手撸了一个放上来。需要用 PYTHON 实现转换的同学可以自取。二、原理公式RGB 到 LCH 的转换过程，首先需要将 RGB 转换到 XYZ 空间，再将 XYZ...

项目上线部署的时候需要服务端的同学帮忙打Docker，但是自己也需要提前写好requirements.txt。这里记录一下两种生成requirements.txt的方法。方法一：在项目根目录下，在命令行中输入：pip freeze > requirements.txt这种方法会将当前环境下的所有的信息都存入requirements.txt中。方法二：首先安装 p...