wshzd的博客

paper：https://arxiv.org/abs/2106.04554.pdf前言 转眼间Transformer的提出已经有四年之久了，Transformer依靠弱归纳偏置和易于并行的特点，在人工智能领域大放异彩，尤其在NLP和CV领域。从Transformer论文《Attention is AllYou Need》的题目来看，有些言过其实了，事实上论文《Attention is Not All You Need: Pure Attention Loses Rank Dou...

一、前言本篇论文主要是改进LatticeLSTM的两个缺点：1、基于LSTM的模型，不能并行处理，效率低；2、LatticeLSTM不能解决词汇冲突问题，比如下面句子中的“长”，根据前面的“广州市”很容易判断为O，然而整体观察后发现正确是B-GPE对应的改进方案是：1、使用CNN来替换LSTM来实现并行化；2、使用rethinking机制，通过高层特征的语义来优化词向量权重二、LR-CNN模型下面看一下具体是如何做的？模型结构如下图所示：LR-CNN模型主要包..

paper: https://arxiv.org/pdf/1805.02023.pdfcode:https://github.com/jiesutd/LatticeLSTM前言 NER（命名实体识别）是信息抽取的一个基础任务，常用的做法是character-based和word-based，其中基于字符的方法是每个字符会输出一个实体标签，它的缺点是不能利用字与字之间的信息；而基于词的方法是每个词会输出一个实体标签，会受到分词的影响，而且更容易出现OOV的情况。 而...

单层感知器、线性神经网络、BP神经网络都属于前向神经网络，各层神经元节点接受前一层输入的数据，经过处理输出到下一层，数据正向流动，没有反馈连接。前向线性神经网络的输出仅由当前的输入和网络的权值决定，而本次分享的反馈神经网络Hopfield的输出除了与当前输入和网络权值有关以外，还与网络之前的输入有关。 1982年，美国加州理工学院的J.Hopfield教授提出了一种单层反馈神经网络，称为Hopfield网络，该网络具有比前向神经网络更强的计算能力，突出优点是具有很强的联想记忆和...

通常训练的模型存储为float32，如果可以转换为float16来进行存储的话，模型大小会减少一半把已经训练好的模型使用TensorFlow Lite converter进行转换为float16即可importtensorflowastfconverter=tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)con...

下面是tensorflow2.0完全采用keras的API来实现的from __future__ import absolute_import, division, print_function, unicode_literals!pip install -q tensorflow==2.0.0-alpha0import tensorflow as tfmnist = t...

首先需要安装tensorflow2.0版本，这个版本与1.x的版本变化比较大，主要采用了keras的API，具体可以参考一、下面是以jupyter notebook开发环境为例进行代码演示，jupyter notebook需要在命令行签名增加！!pip install tensorflow-gpu==2.0.0-alpha0二、导入使用到的库from __future__ impo...

#!/usr/bin/python# -*- coding:utf-8 -*-# https://www.sohu.com/a/226611009_633698import numpy as npimport osimport tensorflow as tfimport matplotlib.pyplot as plt# Reset the default graph fo...

一、首先需要在https://drive.google.com/上登录并且创建文件夹和文件，并且上传自己的脚本二、在https://colab.research.google.com上创建一个notebook来搭载并访问google云上面的数据和脚本，搭载步骤如下：1）!apt-get install -y -qq software-properties-common python-sof...

使用BERT的注意事项：需要自己下载BERT源码，然后把解压后的文件夹放到跟目录使用BERT的目的是：为了获取最后的模型返回向量（就是4）步骤的输出）使用BERT模型的步骤是：1）首先加载并且恢复模型的配置参数、模型参数；2）调用函数convert_single_example生成模型所需要的数据，其实就是input_ids、input_mask、segment_ids；3）把...

package com.bj58.dia.rec.gul.wpai.dlpredictonline.impl;public class Viterbi { static private int[] status = { 0, 1, 2 }; static private int[] observations = { 1, 6, 3, 5, 2, 7, 3, 5, 2, 4 }...

python脚本(此代码为线性回归的demo)#!/usr/bin/python# -*- coding:utf-8 -*-import tensorflow as tffrom tensorflow import saved_model as smimport numpy as npx_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]...

python脚本#!/usr/bin/python# -*- coding:utf-8 -*-import tensorflow as tffrom tensorflow import saved_model as smimport numpy as npx_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]noise = np.ra...