解密 BERT

Bert的文本编码tokenizer、分隔符(MASK/CLS/SEP)编码 1.文本编码 bert模型的输入是文本,需要将其编码为模型计算机语言能识别的编码。这里将文本根据词典编码为数字 2.分隔符编码 特殊的分隔符号: [MASK] :表示 需要带着[],并且mask是大写,对应的编码是103 [SEP]: 对应的编码是102 [CLS]:对应的编码是101 []:对应的编码是 eg: from transformers import BertTokenizer bert_name = 'bert-base-chinese' tokenizer = .. 阅读详情
点击上方“AI派”,选择“设为星标”
最新分享,第一时间送达!



来源:AI开发者

BERT简介

毫不夸张的讲,谷歌AI实验室的BERT深刻影响了NLP的格局。

640?wx_fmt=png  

想象一下这样一个在大量未标注数据集中训练的模型,你仅仅只需要做一点的微调,就可以在11个不同的NLP任务上取得 SOTA结果。没错,BERT就是这样,它彻底改变了我们设计NLP模型的方式。

BERT之后,许多NLP架构、训练方法与语言模型如雨后春笋般涌现,比如谷歌的TransformerXL、OpenAI’s GPT-2、 XLNet、ERNIE2.0、 RoBERTa等。

注:在这篇文章中,我会提及许多Transformer的内容,如果你对Transformer不了解的话,可以先看看这篇文章——How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models.

什么是BERT?

你一定听说过BERT,也知道了它是多么不可思议以致改变了NLP的领域格局,但BERT究竟是什么?

以下是BERT团队对该框架的描述:

BERT全称Bidirectional Encoder Representations from Transformers(Transformers的双向编码表示),对未标注的文本,通过上下文约束预训练深层双向表示。训练完成后,只需要对BERT预训练模型进行fine-tune,再加上针对特定任务的输出层就可以取得SOTA结果。

对新人来说这样的解释不够明白,但这确实很好的总结了BERT的机制。接下来,我们一点点的进行剖析。

首先可以明确的是,BERT全称Bidirectional Encoder Representations from Transformers,名字中的每一个单词都有其意义,我们会在后面的段落一一介绍。从BERT的名字中,我们能得到最重要信息就是:BERT是基于Transformer架构的。

其次,BERT是在大量的未标注文本上预训练得到,包括整个Wikipedia(有25亿单词)和图书语料库(8亿单词)。

预训练这一步对BERT来讲是至关重要的。正是由于如此庞大的语料库的支撑,模型在训练过程中才能对语言的工作原理进行更深入、更准确的提取,通过此过程提取到的知识对所有NLP任务来说都是‘万滑油’。

然后,BERT是“深度双向”模型,双向就意味着BERT在训练过程中关注当前位置的上下文信息。

上下文信息对准确理解语义很重要的。看下面这个例子,两句话中都包含了同一个单词“bank”:

640?wx_fmt=png

BETR捕获上下文信息

如果我们想仅依靠上文或者下文的信息去理解“bank”的含义,那么对这两句话中的“bank”,我们是无法区分它们的不同含义的。

解决方法就是在预测之前同时考虑上下文信息,BERT就是这样做的。

最后,BERT最吸引人的在于,我们仅仅通过在模型后根据自己的需求加上输出层部分就可以在各类NLP任务取得SOTA结果。

从Word2Vec到BERT:NLP对语言表示的探索

“自然语言处理领域最大的挑战之一就是训练数据的短缺。NLP是一个多元领域,任务繁多,大多数特定领域的数据集仅仅包含几千或几十万人工标注的数据。”——谷歌AI

Word2Vec和GloVe

预训练模型从大量未标注文本数据中学习语言表示的思想来源于词嵌入,如Word2Vec and GloVe。

词嵌入改变了进行NLP任务的方式。通过嵌入,我们能够捕获单词的上下文关系。

640?wx_fmt=png

图中所示的这些嵌入方法被广泛用于下游NLP任务的训练模型,以便获取较好的预测结果。

之前的嵌入方法的一大缺陷在于只使用了很浅的语言模型,那就意味着它们捕获到的信息是有限的。

另外一个缺陷就是这些嵌入模型没有考虑单词的上下文。就像之前提到的“bank”例子,在不同的语境下同一个单词可能会有不同的含义。

然而,WordVec之类的模型将不同语境中的“bank”以同样的向量表示。

于是,一些重要的信息被遗漏了。

ELMo与ULMFiT

640?wx_fmt=png

ELMo是对语言多义性问题提出的解决方案——针对那些在不同上下文中具有不同含义的单词。

从训练浅层前馈网络(Word2vec)开始,我们逐步过渡到使用复杂的双向LSTM结构来训练词嵌入。

这意味着同一单词根据其所在的上下文可以具有多个ELMO嵌入。

从那时起,我们开始注意到预训练的优势将使其在NLP任务中发挥重要作用。

640?wx_fmt=png

ULMFiT更进一步,在文档分类任务中,即使只有很少的数据(少于100),对该框架训练的语言模型进行微调就能够提供出色的结果。这意味着ULMFiT解决了NLP任务中的迁移学习问题。

这是我们提出的NLP迁移学习黄金公式:

NLP迁移学习 = 预训练 + 微调

 在ULMFIT之后,许多NLP任务根据上述公式进行训练,并获得了新的基准。

OpenAI的GPT

OpenAI’s GPT进一步扩展了ULMFiT和ELMo中引入的pre-training和fine-tuning方法。

GPT的关键是用基于Transformer的结构取代了基于LSTM的语言建模结构。

不仅是文档分类任务,GPT模型还可以对其他NLP任务进行

fine-tuned,例如常识推理,语义相似性和阅读理解。

OpenAI的GPT在多项任务获得SOTA结果,验证了Transformer架构的鲁棒性和有效性。  

就这样,BERT在Transformer的基础上横空出世,并给NLP领域带来巨大变革。

BERT出世

至此,解决NLP任务离不开这两步:

1. 在未标注的大型文本语料库上训练语言模型(无监督或半监督)

2. 针对特定的NLP任务对大型语言模型进行微调,以充分利用预训练模型的大量知识(监督)

接下来,我们将详细了解BERT如何训练模型,并在未来一段时间内成为NLP领域的行业标杆。

BERT是如何工作的?干货讲解

深入BERT,理解为什么BERT建立的语言模型如此有效。

1. BERT的结构

BERT架构建立在Transformer之上。 我们目前有两个可用的变体:

  • BERT Base:12层(transformer模块),12层注意力,1.1亿参数

  • BERT Large:24层(transformer模块),16层注意力,3.4亿参数

640?wx_fmt=png

图源

与OpenAI的GPT模型相比,BERT Base模型大小与其相似,同时BERT Base的所有transformer层都仅包括编码部分。

如果你对transformer结构了解不是很清楚,建议你先读一下这篇文章。

现在我们已经了解了BERT的整体架构。在正式构建模型之前,需要先进行一些文本处理工作。

640?wx_fmt=png

2. 文本预处理

BERT背后的开发人员添加了一组特定的规则来表示模型的输入文本。其中许多都是创造性的设计选择可以让模型表现更好。

首先,每个输入嵌入都是三个嵌入的组合:

1.位置嵌入:BERT学习并使用位置嵌入来表达单词在句子中的位置。添加该嵌入是为了克服Transformer的局限性,与RNN不同,Transformer无法捕获“序列”或“顺序”信息

2.段嵌入:BERT也可以将句子作为任务的输入(问题-解答)。因此,它为第一句话和第二句话学习了独特的嵌入,以帮助模型区分它们。在上面的示例中,所有为EA的标记都属于句子A(对于EB一样)

3.令牌嵌入:这些是从WordPiece令牌词汇表中为特定令牌学习的嵌入

对于给定的令牌,其输入表示形式是通过将相应的令牌,段和位置嵌入相加而构造的。

这种全面的嵌入方案包含许多有用的模型信息。

这些预处理步骤的组合使BERT如此通用。

3. 预训练任务

BERT对两项NLP任务进行预训练:

  • 遮掩语言模型

  • 下句预测

让我们更详细地理解这两个任务!

a. 遮掩语言模型(双向)

BERT是深层的双向模型,该网络从第一层到最后一层始终关注当前单词的上下文进行信息捕获。

640?wx_fmt=png

单词序列预测

传统的语言模型要么是利用从右到左的文本信息进行训练预测下一个单词(例如GPT),要么是使用从左到右的文本信息进行训练,这使模型不可避免的丢失一些信息,从而导致错误。

ELMo试图通过训练两个LSTM语言模型(一个利用从左到右的文本信息,一个利用从右到左的文本信息),并将它们进行连接来解决这个问题。这样虽然在一定程度上取得进步,但还远远不够。

640?wx_fmt=png

相对于GPT与ELMo,BERT在利用上下文信息这一方面取得重要突破,如上图所示。

图中的箭头表示一层到下一层的信息流,顶部的绿色框表示每个输入单词的最终表示。

从以上图片可以明显看到:BERT是双向的,GPT是单向的(从左到右的信息流),ELMo是浅层双向的。

关于遮掩语言模型——这是BERT双向编码的奥秘。

对这样一个句子——“I love to read data science blogs on Analytics Vidhya”,我们怎样用它训练双向语言模型呢。

我们首先将“Analytics”替换为“[MASK]”, “[MASK]”  表示将该位置的单词掩盖。

然后我们需要训练一个模型,使其能够预测mask掉的单词:“I love to read data science blogs on [MASK] Vidhya.”

这就是遮掩语言模型的关键。BERT的作者还介绍了一些遮掩语言模型的注意事项:

  • 为了防止模型过于关注特定位置或被遮掩的标记,研究人员随机遮掩15%的单词

  • 被遮掩的单词并不总是[MASK]取代,在针对特定任务的微调阶段是不需要[MASK]标记的

  • 为此,研究人员的一般做法是:(对 15%需要[MASK] 单词 )

  • (15%的)80%的单词被[MASK]遮掩

  • 其余10%的单词被其他随机单词取代

  • 其余10%的单词保持不变

在我之前的一篇文章中,我详细介绍了如何在Python中实现遮掩语言模型:Introduction to PyTorch-Transformers: An Incredible Library for State-of-the-Art NLP (with Python code)

b. 下句预测

遮掩语言模型(MLMs)学习单词之间的关系。

此外,BERT还对下句预测任务进行训练以学习句子之间的关系。

这类任务的典型例子就是问答系统。

任务很简单,给A和B两个句子,判断B是A之后的下一句,或只是一个随机句子?

由于这是一个二分类问题,将语料库中的句子分解为句子对就可以得到大量训练数据。与MLMs类似,作者也给出在进行下句预测任务时的注意事项。具体通过这个例子进行说明:

对于一个包含10万句子的数据集,我们可以得到5万句子对作训练数据。

  • 训练数据中的50%,第二句是真实的下句

  • 另外的50%,第二句是语料库中的随机句子

  • 前50%的标签是‘IsNext’,后50%的标签是‘NotNext’

在建模过程中结合遮掩语言模型(MLMs)和下句预测(NSP)两个预训练任务,这就使得BERT成为一个与任务无关的模型,经过简单fine-tuning即可适用到其他下游任务。

在python中使用BERT进行文本分类

你对BERT的可能性一定有各种期待。确实如此,我们在具体的NLP应用中可以通过各种方式利用BERT预训练模型的优势。

最有效的方法之一就是根据自己的任务和特定数据进行微调, 然后,我们可以将BERT中的嵌入用作文本文档的嵌入。

接下来,我们将学习如何将BERT的嵌入应用到自己的任务上。至于如何对整个BERT模型进行微调,我会在另一篇文章中进行介绍。

为了提取BERT的嵌入,我们将使用一个非常实用的开源项目Bert-as-Service:

640?wx_fmt=png

BERT-As-Service

由于BERT需要大量代码以及许多安装包的支持,对普通用户而言直接运行BERT是不现实的,为此开源项目BERT-As-Service来帮助我们便捷的使用BERT。通过该项目,我们仅仅通过两行代码就可以调用BRRT对句子进行编码。

安装BERT-As-Service

BERT-As-Service运行方式十分简单。它创建了一个BERT服务器,我们可以在notebook中编写ython代码进行访问。通过该方式,我们只需将句子以列表形式发送,服务器就会返回这些句子的BERT嵌入。

我们可以通过pip安装服务器和客户端。它们可以单独安装在本地计算机,也可以安装到不同的计算机上:

$ pip install bert-serving-server # server
$ pip install bert-serving-client # client

另外,由于运行BERT对GPU要求较高,我建议你在云GPU平台或是其他具有高计算能力的计算机上安装bert-serving-server。

同时,bert-serving-server对python和Tensorflow的版本要求为:Python >= 3.5 ; TensorFlow >= 1.10。

然后,在终端下载图示的预训练模型(选择你需要的即可),并对下载的zip文件进行解压。

下图是已发布的BERT预训练模型:

640?wx_fmt=png

BERT模型

我这里选择BERT Uncased下载并解压:

$ wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip && unzip uncased_L-12_H-768_A-12.zip

将所有文件解压之后,就可以启动BERT服务了:

$ bert-serving-start -model_dir uncased_L-12_H-768_A-12/ -num_worker=2 -max_seq_len 50

现在,你可以在Python中通过bert-serving-client调用BERT-As-Service。看代码吧!

打开一个新的Jupyter Notebook,我们想要获取“I love data science and analytics vidhya”的BERT嵌入。

from bert_serving.client import BertClient

# 使用IP地址连接BERT服务器; 如果是本机服务器的话不需要IP
bc = BertClient(ip="服务器的IP地址")
# 获取嵌入
embedding = bc.encode(["I love data science and analytics vidhya."])
# 对返回的嵌入形状进行确认,应该是1x768
print(embedding.shape)

IP地址是BERT服务器或云平台的IP; 如果是本机服务器的话不需要填写IP

由于该句被BERT架构中的768个隐藏单元表示,最终返回的嵌入形状是(1,768)。

问题描述:对Twitter上仇恨言论进行分类

接下来使用真实数据集测试BERT的效果。我们将使用Twitter的“仇恨言论”分类数据集,该数据集中的推文被标注为是或者否。

你可以从此链接problem statement on the DataHack platform了解或下载该数据集。

为简单起见,如果一条推文带有种族主义或性别歧视情绪,我们就认为该推文包含仇恨言论。 于是,本次任务就是将种族主义或性别歧视推文与其他推文进行分类。

我们将使用BERT对数据集中的每条推文进行嵌入,然后使用这些嵌入训练文本分类模型。

640?wx_fmt=png

任务流程

接下来看代码部分:

import pandas as pdimport numpy as np


   # 导入训练数据

train = pd.read_csv('BERT_proj/train_E6oV3lV.csv', encoding='iso-8859-1')train.shape


相信你对推特并不陌生,在很多推文中总有一些随机符号和数字(又名聊天语言!)。我们的数据集也是这样,为此,需要对数据集进行预处理,然后再传入BERT:

640?wx_fmt=png

现在,我们需要将清理后的数据集划分为训练集与验证集:

from sklearn.model_selection import train_test_split


# 划分训练集与验证集

X_tr, X_val, y_tr, y_val = train_test_split(train.clean_text, train.label, test_size=0.25, random_state=42)
print('X_tr shape:',X_tr.shape)

接下来,对测试集与验证集的所有推文进行BERT嵌入:

from bert_serving.client import BertClient


# 使用IP连接BERT服务器

bc = BertClient(ip="YOUR_SERVER_IP")


# 获得训练集与测试集的嵌入

X_tr_bert = bc.encode(X_tr.tolist())X_val_bert = bc.encode(X_val.tolist())

该构建模型了!我们先来训练分类模型:

from sklearn.linear_model import LogisticRegression# LR模型model_bert = LogisticRegression()# 训练model_bert = model_bert.fit(X_tr_bert, y_tr)# 预测pred_bert = model_bert.predict(X_val_bert)


查看分类准确率:

from sklearn.metrics import accuracy_score    print(accuracy_score(y_val, pred_bert))

可以看到,即使只有很小的数据集,我们也很容易达到95%左右的准确率。实在是不可思议!

你最好在其他任务上亲自实践一下BERT嵌入,并将你的结果分享到下面的评论区。

下一篇文章,我会在另外一个数据集上使用Fine-tune的BERT模型,并比较其性能。

超越BERT:NLP的最新技术

BERT激起了人们对NLP领域的极大兴趣,尤其是Transformer的广泛应用。 这也导致越来越多的实验室和组织开始研究pre-training, transformers 和 fine-tuning等任务。

BERT之后,一些新的项目在NLP各项任务中取得了更好的结果。 比如RoBERTa,这是Facebook AI对BERT和DistilBERT的改进,而后者其实就是BERT的更轻巧,便捷的版本。

你可以在regarding State-of-the-Art NLP in this article了解更多BERT之后的改进模型。

via: https://www.analyticsvidhya.com ,2019/9/25.

(完)







640?wx_fmt=jpeg

?关注“Python与人工智能社区”



王老湿目前建立了Python、爬虫、数据分析、机器学习、AI实战、自然语言处理、计算机视觉、推荐系统等方向的读者交流群,大家可以添加王老湿的微信进行加群

640?wx_fmt=png
?长按识别,添加王老湿微信



近期专栏推荐 (点击下方标题即可跳转)


1. 

2. 

3. 

4. 



点下「在看」,给文章盖个戳吧!?

解密文本向量化:从BERT到嵌入模型的深度解析 嵌入模型是一种机器学习模型,它能够将文本、图像或其他类型的数据转换成密集的数值向量(通常是浮点数数组)。在向量数据库领域,嵌入模型特别重要,因为它们能够捕获数据的语义信息,使得相似的内容在向量空间中彼此接近。嵌入模型的主要特点:常见的嵌入模型包括Word2Vec、GloVe、BERT、OpenAI的text-embedding-ada系列、Cohere的嵌入模型等。文本被嵌入模型转换为向量的过程通常包含以下步骤:例如,使用BERT模型时,一段文本"向量数据库很有用"可能会:这些向量随后可以被存储在向量数据库 阅读详情

相关推荐

解密BERT的Tokenizer:为什么英文用subword而中文用字?

本文深入解析了BERT模型中Tokenizer的设计原理,重点探讨了英文采用subword切分而中文使用单字切分的原因。通过对比英语和中文的语言特性,揭示了WordPiece算法在英文处理中的优势以及中文单字切分的必然性,并提供了工程实践中的优化技巧和应用示例。

weixin_30664051的博客 512

BERT基本原理

BERT,NLP

weixin_43811423的博客 736

解密HuggingFace Tokenizer:为什么你的BERT模型总报错?这些坑我都踩过

本文深入解析了HuggingFace Tokenizer在BERT等预训练模型使用中的常见问题与调试技巧。针对词汇表不匹配、特殊符号处理、编码长度限制等高频报错场景,提供了实战解决方案和最佳实践,帮助开发者有效排查和解决因Tokenizer配置不当导致的模型错误,提升NLP项目开发效率。

weixin_29228781的博客 534

Bert基础(五)--解码器(下)

但在这一层,我们有两个输入矩阵:一个是R(编码器输出的特征值),另一个是M(前一个子层的注意力矩阵)。然后,我们把顶层解码器的输出送入线性层。我们可以看到,每个解码器中的多头注意力层都有两个输入:一个来自带掩码的多头注意力层,另一个是编码器输出的特征值。(3) 然后,将注意力矩阵[插图]和编码器输出的特征值[插图]作为多头注意力层(编码器−解码器注意力层)的输入,并再次输出新的注意力矩阵。(1) 首先,我们将解码器的输入转换为嵌入矩阵,然后将位置编码加入其中,并将其作为输入送入底层的解码器(解码器1)。

Andy_shenzl的博客 1837

Gavin老师Transformer直播课感悟 - BERT论文逐行解密:算法、数学、源码

从论文角度对BERT全方位深度剖析 本文从BERT的一篇经典论文来剖析BERT的内部机制与实现原理,以及BERT在NLP领域具有的优势或者说运用价值(论文的链接地址:https://arxiv.org/pdf/1810.04805.pdf)。 BERT是论文原话” Bidirectional Encoder Representations from Transformers”的首字母的组合。在这里着重强调两点,一是BERT是基于Transformer衍生而来,我们通过比较两者之间的架构,就很容易理解;..

m0_49380401的博客 907

Bert基础(四)--解码器(上)

因此,一个解码器(第一个除外)将有两个输入:一个是来自前一个解码器的输出,另一个是编码器输出的特征值。同理,我们也不是将输入直接送入解码器,而是将其转换为嵌入矩阵,为其添加位置编码,然后再送入解码器。,我们不是将输入直接送入解码器,而是将其转换为嵌入矩阵(输出嵌入矩阵)并添加位置编码,然后再送入解码器。,我们将输入转换为嵌入(我们称之为嵌入值输出,因为这里计算的是解码器在以前的步骤中生成的词的嵌入),将位置编码加入其中,然后将其送入解码器。需要注意的是,这里使用的数值是随机的,只是为了方便理解。

Andy_shenzl的博客 1826

图解BERT:通俗的解释BERT是如何工作的

谷歌2018年发布的BERT是NLP最有影响力的论文之一。 在本文中,我将进一步介绍BERT,这是最流行的NLP模型之一,它以Transformer为核心,并且在许多NLP任务(包括分类,问题回答和NER)上均达到了最先进的性能。 具体地说,与其他关于同一主题的文章不同,我将试着浏览一遍极具影响力的BERT论文——Pre-training of Deep Bidirectional Transformers for Language Understanding,同时将尽量是用通俗的描述而不使用术语,并尝试通

deephub 9062

解密微软DeBERTa模型:BERT+最强改进,超越人类水平

1. 背景介绍 1.1 自然语言处理的进步 近年来,自然语言处理 (NLP) 领域取得了显著的进步,这在很大程度上归功于深度学习技术的应用。其中,预训练语言模型的出现,如 BERT,彻底改变了 NLP 任务的处理方式,并在各种任务中取得了 state-of-the-art 的结果。

AI天才研究院 1005

BERT解密:深入探讨BERT的结构和训练方法

1.背景介绍 BERT是一种基于Transformer架构的预训练语言模型,它在自然语言处理(NLP)领域取得了显著的成果。BERT的全称是Bidirectional Encoder Representations from Transformers,即“双向编码器表示来自Transformers”。它的主要优点是,通过预训练,BERT可以学习到更丰富的语言表达能力,从而在各种NLP任务中取得更...

AI天才研究院 977

uncased_L-12_H-768_A-12.zip

https://github.com/google-research/bert 里的预训练好的模型,英文的

TH_uncased_L-12_H-768_A-12.part1.rar

泰语预训练语言模型中的第一部分,可以用于文本分类,序列标注等自然语言处理任务,该模型性能优异,可扩展性强

解密 BERT 的秘密:如何在 NLP 中取得卓越成绩

1.背景介绍 BERT(Bidirectional Encoder Representations from Transformers)是 Google 的一项重要创新,它在自然语言处理(NLP)领域取得了显著的成果。BERT 的出现使得 NLP 领域的许多任务,如情感分析、问答系统、文本摘要等,取得了前所未有的性能。在 2018 年的 NAACL 会议上,Devlin 等人提出了 BERT 的...

AI天才研究院 891

XLNet的预训练模型 cased_L-12_H-768_A-12.zip

XLNet的预训练好的模型文件,来自 https://github.com/zihangdai/xlnet

深入BERT内核:用数学解密掩码语言模型的工作原理

BERT通过掩码语言建模(MLM)实现双向语言理解,随机遮蔽15%的词并预测,结合Transformer的自注意力与多头机制,利用上下文信息生成深层语义表示。其数学设计如√d_k缩放、80-10-10掩码策略和交叉熵优化,显著提升模型性能,奠定现代NLP基础。

deephub 854

【鸿蒙南向开发】OpenHarmony——分布式数据对象之功能实践

通过本文的学习可了解到分布式数据对象的主要接口、大致调用方法和功能实现等。结合对应内容,可以进一步对分布式数据对象同步机制做深度学习。下一步,(1) 着重理解同步组网的构建原理。(2) 着重理解同步组网内,监听change和status变化的实现。●如果你觉得这篇内容对你还蛮有帮助,我想邀请你帮我三个小忙:●关注小编,同时可以期待后续文章ing🚀,不定期分享原创知识。

HarmonyOS_666的博客 1096

【ubuntu】如何搭建AFTR+B4环境

为何要使用ipv6 目前ipv4地址已经不够用了,而IPv6采用128位地址长度,几乎可以不受限制地提供地址。而且ipv6具有更高的安全性。 主流的ipv6方案 1.双栈方案 :所有设备同时支持IPv4/IPv6协议栈,核心理念在于其传送网同时支持IPv4和IPv6 2.DS-Lite方案 :IPv4‐in‐IPv6 隧道和 NAT 这两个基本技术,同时支持IPV4与IPV6,对于ipv4用户,可以通过ipv6隧道与ipv4业务平台实现通信;针对ipv6用户,可直接通过ipv6网络通信。 3.6RD方案 :

weixin_43863426的博客 2726

解密BERT中的Attention机制:为什么Transformer能横扫NLP任务?

本文深入解析了BERT模型的核心——Transformer架构中的自注意力机制。通过对比传统RNN/LSTM的局限,详细阐述了自注意力如何通过全局计算和并行处理,高效解决NLP中的长距离依赖难题,并剖析了多头注意力、缩放点积等关键设计。文章结合PyTorch代码示例,揭示了该机制为何能成为驱动BERT等模型横扫各类NLP任务的根本动力。

w1x2y3的博客 170

Dify实战:智能邮件工作流配置全解析

本文详细解析了如何利用Dify平台配置智能邮件工作流,实现邮件处理的自动化与智能化。内容涵盖从获取邮箱授权、安装插件、安全配置环境变量,到构建邮件发送工作流、创建调用该工作流的智能体(Agent)的完整步骤,并分享了连接知识库实现智能客服、定时发送日报等进阶自动化场景,旨在帮助用户显著提升邮件处理效率。

t8u9v0w1x的博客 797

BERT模型预训练的黑盒解密:从零构建与优化实战

本文深入解析BERT模型预训练的核心机制与优化策略,包括动态掩码、梯度累积等关键技术,并提供从零构建BERT模型的PyTorch实战代码。通过详细讲解Transformer架构、预训练任务设计和分布式训练方案,帮助开发者掌握大规模语言模型预训练的全流程优化技巧。

a3b4c5的博客 597

从MIPS汇编到C语言:手把手教你用Mars模拟器理解指令集(附实战代码)

本文详细介绍了如何使用Mars模拟器从MIPS汇编过渡到C语言编程,通过实战代码解析ADD、LW、BEQ等指令集与C语言结构的对应关系。内容涵盖环境搭建、算术运算、内存访问、条件分支及函数调用等核心概念,帮助读者深入理解MIPS指令分类和计算机底层运行机制。

weixin_26821003的博客 361

小程序选项卡以及swiper套用(跨页面)

选项卡tab和swpier之间的套用 其实我之前写过一篇选项卡的切换demo,大家阔以参考一下 小程序多个选项卡切换 那今天写这个demo呢,是因为项目需求,所以仅供参考。 我是拿到了home.wxml的数组下标, 通过url传参的方式去将这个id传到下一个页面, 下一个页面接收以后再将id赋值给对应的tabI或者currentId(swiper 的下标) 实现上一个页面进来以后直接进入对应的页...

Rechal_Mei的博客 3598

解密ET-BERT:加密流量分析的Transformer实战指南

当传统网络安全检测方法在加密流量面前纷纷失效时,一个隐藏在流量数据中的技术突破正在悄然改变游戏规则。ET-BERT作为专为加密流量设计的Transformer模型,成功解决了网络流量分类中的核心难题:如何在完全加密的环境中准确识别流量类型和应用行为。 ## 技术挑战:加密流量分析的三大痛点 ### 痛点一:数据特征提取困难 在完全加密的流量环境中,传统的基于端口、协议特征的检测方法完全失效。E

gitblog_00122的博客 633

模型实战(16)之StrongSort (OSNET)配合YOLOv5、v7、v8 实现多目标跟踪详解

StrongSort (OSNET)配合YOLOv5、v7、v8 实现多目标跟踪详解

yohnyang的博客 1771
上一篇: 200页!分享珍藏很久的Python学习知识手册(附链接)
下一篇: 最新发布!斯坦福 CS224n 出作业视频详细讲解啦!
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值