<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chu227的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chu227</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chu227]]></copyright><item><title><![CDATA[transformer-APAS训练Model完整源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121356379</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121356379</guid><author>chu227</author><pubDate>Tue, 16 Nov 2021 15:04:34 +0800</pubDate><description><![CDATA[第47章：TAPAS训练Model完整源码实现

1，calculate_aggregation_logits源码完整实现分析

2，calculate_aggregation_loss_known源码完整实现分析

3，calculate_expected_result源码完整实现分析

4，calculate_regression_loss源码完整实现分析

5，calculate_aggregate_mask源码完整实现分析

6，compute_classification_logits源码完整实现]]></description><category></category></item><item><title><![CDATA[Transformer-构建open-domain chatbot的Transformer模型Blenderbot架构及完整源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121356333</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121356333</guid><author>chu227</author><pubDate>Tue, 16 Nov 2021 15:03:26 +0800</pubDate><description><![CDATA[第45章：构建open-domain chatbot的Transformer模型Blenderbot架构内幕及完整源码实现

1，poly-encoder architecture数学原理及实现详解

2，Dialogue Retrieval常见实现方式分析

3，Dialogue Retrieval通用数学原理解析

4，Knowledge Retrieval常见实现方式分析

5，Knowledge Retrieval通用数学原理解析

6，Blenderbot的Retriever设计和实现机制

7，]]></description><category></category></item><item><title><![CDATA[星空对话机器人-Transformer-为Open Domain Long Form Question Answering而设计的Transformer模型RetriBERT架构及完整源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121356181</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121356181</guid><author>chu227</author><pubDate>Tue, 16 Nov 2021 15:02:02 +0800</pubDate><description><![CDATA[第41章：为Open Domain Long Form Question Answering而设计的Transformer模型RetriBERT架构内幕及完整源码实现

1，Sparse Retrieval数学原理及工程实践分析

2，Trained Dense Retriever数学原理剖析

3，RetriBertConfig解析

4，RetriBertTokenizer源码完整实现分析

5，embed_questions源码完整实现分析

6，embed_answers源码完整实现分析

7，em]]></description><category></category></item><item><title><![CDATA[星空对话机器人-Transformer-可运行在终端设备的Transformer模型MobileBERT架构及完整源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121356131</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121356131</guid><author>chu227</author><pubDate>Tue, 16 Nov 2021 14:57:08 +0800</pubDate><description><![CDATA[第37章：可运行在终端设备的Transformer模型MobileBERT架构内幕及完整源码实现

1，Compact BERT on resource-limited设备上

2，teacher model数学原理解析

3，MobileBertTokenizer源码完整实现分析

4，load_tf_weights_in_mobilebert源码完整实现分析

5，NoNorm源码完整实现分析

6，MobileBertEmbeddings源码完整实现分析

7，MobileBertAttention源]]></description><category></category></item><item><title><![CDATA[Transformer-过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构及完整源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121356073</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121356073</guid><author>chu227</author><pubDate>Tue, 16 Nov 2021 14:55:18 +0800</pubDate><description><![CDATA[第33章：过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构内幕及完整源码实现

1，Transformer网络中的redundancy 产生的本质原因剖析

2，不同类型pooling operation数学原理解析

3，对sentence进行single-vector presentation不同类型实现技术解析

4，对Transformer的hidden states的处理方式分析

5，对reduced hidden sequen]]></description><category></category></item><item><title><![CDATA[轻量级Transformer模型ConvBERT架构及完整源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121355999</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121355999</guid><author>chu227</author><pubDate>Tue, 16 Nov 2021 14:53:35 +0800</pubDate><description><![CDATA[第28章：使用Local dependency轻量级Transformer模型ConvBERT架构内幕及完整源码实现

1，BERT依赖global self-attention而带来的问题分析

2，BERT不同Layer的computation redundancy分析

3，使用local dependency的数学原理分析

4，local dependency的工程实践

5，convolution head数学原理剖析

6，构建mixed attention block分析

7，ConvBe]]></description><category></category></item><item><title><![CDATA[基于Transformer的NLP智能对话机器人26-27章]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121340602</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121340602</guid><author>chu227</author><pubDate>Mon, 15 Nov 2021 19:01:34 +0800</pubDate><description><![CDATA[第26章：跨语言Cross-linagual预训练模型XLM架构内幕及完整源码实现

1，cross-lingual pretraining背后的数学原理剖析

2，XLM中CLM设计内幕和数学原理解析

3，XLM中MLM设计内幕和数学原理解析

4，XLM 中TLM设计内幕和数学原理解析

5，XLMTokenizer源码实现解析

6，XLMWithLMHeadModel源码实现解析

7，XLMPredLayer源码实现解析

8，XLMModel源码实现解析

9，XLMPreTrainedMod]]></description><category></category></item><item><title><![CDATA[人工智能-Tansformer-全套讲解15-20章]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121340533</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121340533</guid><author>chu227</author><pubDate>Mon, 15 Nov 2021 18:39:46 +0800</pubDate><description><![CDATA[第21章：基于Bayesian Theory的MRC文本理解基础经典模型算法详解

1，Bayesian prior在模型训练时候对Weight控制、训练速度影响等功能详解

2，Bayesian prior能够提供模型训练速度和质量的数学原理剖析

3，从Word2vec走向GloVe：从Local 信息走向Global+Local信息表示模式

4，GloVe 中的Vector相关性算法

5，GloVe的Co-occurrence matrix解析

6，GloVe的Loss计算

7，神经网络表达信]]></description><category></category></item><item><title><![CDATA[Transformer 综合讲解15-20章]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121340441</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121340441</guid><author>chu227</author><pubDate>Mon, 15 Nov 2021 18:33:41 +0800</pubDate><description><![CDATA[第15章: Question Generation综合案例源码、测试及调试

1，从Text到Multiple choice question数学原理、使用的Transformer知识、架构设计

1，自动生成错误的问题选项

2，使用GPT2自动生成对错二分类的问题

3，使用Transformer生成多选题目

4，使用Transformer自动生成完形填空题目

5，使用Transformer基于特定内容生成问题

6，完整案例调试分析

7，使用fastAPI部署、测试Transformer案例

]]></description><category></category></item><item><title><![CDATA[transformer-让你从底层知原理]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121340244</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121340244</guid><author>chu227</author><pubDate>Mon, 15 Nov 2021 18:31:29 +0800</pubDate><description><![CDATA[第6章: BERT Pre-training模型源码完整实现、测试、调试及可视化分析

1，词典Vocabulary库构建多层级源码实现及测试

2，Dataset加载及数据处理源码完整实现及测试和调试

3，Next Sentence Prediction机制源码完整实现及测试

4，Masked Language Model机制中80%词汇Masking源码实现

5，Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现

6，Masked Language M]]></description><category></category></item><item><title><![CDATA[transformer-Autoencoding Language Models数学原理及模型架构解析]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121320443</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121320443</guid><author>chu227</author><pubDate>Sun, 14 Nov 2021 17:27:03 +0800</pubDate><description><![CDATA[1，Auto-encoding Language Models通用数学原理详解

2，为何要放弃采用Feature-Based语言模型ELMo而使用Fine-tuning模型？

3，双向语言模型：both left-to-right and right-to-left不同实现及数学原理解析

4，深度双向语言模型背后的数学原理及物理机制

5，Unsupervised Fine-tuning训练模型架构及数学原理解析

6，Transfer Learning数学原理及工程实现详解

7，MLM(Maske]]></description><category></category></item><item><title><![CDATA[transformer-Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121320412</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121320412</guid><author>chu227</author><pubDate>Sun, 14 Nov 2021 17:25:50 +0800</pubDate><description><![CDATA[1，Task-aware的人工智能Language model + Pre-training + Fine-tuning时代

2，Decoder-Only Stack数学原理及架构解析

3，训练材料标注：neutral、contradiction、entailment、multi-label、QA等

4，NLP(Natural Language Understanding)：Semantic similarity、document classification、textual entailment等
]]></description><category></category></item><item><title><![CDATA[Transformer XL源码实现]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121320359</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121320359</guid><author>chu227</author><pubDate>Sun, 14 Nov 2021 17:23:17 +0800</pubDate><description><![CDATA[1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战

2，Language Model的数学原理、Chain Rule剖析及Sparsity问题

3，Markov Assumption：first order、second order、third order剖析

4，Language Model：unigram及其问题剖析、bigram及依赖顺序、n-gram

5，使用Unigram训练一个Language Model剖析及实践

6，使用Bigram训练一个Language Model剖析及]]></description><category></category></item><item><title><![CDATA[Transformer-通过30+个细分模块完整实现Transformer论文源码及项目调试]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121320334</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121320334</guid><author>chu227</author><pubDate>Sun, 14 Nov 2021 17:20:43 +0800</pubDate><description><![CDATA[1，Transformer源码训练及预测整体效果展示

2，模型训练model_training.py代码完整实现

3，数据预处理data_preprocess.py代码完整实现

4，Input端Embeddings源码完整实现

5，Attention机制attention.py代码完整实现

6，Multi-head Attention机制multi_head_attention.py代码完整实现

7，Position-wise Feed-forward源码完整实现

8，Masking 在Enc]]></description><category></category></item><item><title><![CDATA[NLP on Transformers 101]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121320137</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121320137</guid><author>chu227</author><pubDate>Sun, 14 Nov 2021 17:18:26 +0800</pubDate><description><![CDATA[第1章: 贝叶斯理论下的Transformer揭秘

1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构

2，为什么说抛弃了传统模型（例如RNN、LSTM、CNN等）的Transformer拉开了非序列化模型时代的序幕？

3，为什么说Transformer是预训练领域底层通用引擎？

4，Transformer的Input-Encoder-Deco.]]></description><category></category></item><item><title><![CDATA[nlp面试-深度学习以及算法39问，方便你度过面试难关]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121306273</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121306273</guid><author>chu227</author><pubDate>Sat, 13 Nov 2021 16:29:13 +0800</pubDate><description><![CDATA[为了方便大家更好的学习和提问，特建立微信群



深度学习
			L3
			深度学习有没有用到归一化？用到了什么归一化？归一化的操作是什么？有什么作用？
			
		深度学习
			L3
			数据不均匀对模型训练有什么影像，数据分布不均匀的问题怎么解决
			
		深度学习
			L3
			bert的架构是什么 目标是什么 输入包括了什么 三个embedding输入是怎么综合的
			
		深度学习
			L3
			transformer里面每一层的主要构成有哪些
			
		深度学习
			L3.]]></description><category></category></item><item><title><![CDATA[nlp面试-学习神经网络以及机器学习39问]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121306152</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121306152</guid><author>chu227</author><pubDate>Sat, 13 Nov 2021 16:22:27 +0800</pubDate><description><![CDATA[为了方便大家更好的学习和提问，特建立微信群，



神经网络
			L2
			fasttext模型的结构，模型中的优点
		神经网络
			L2
			复杂结构模型和简单结构模型的优缺点
		神经网络
			L2
			推导softmax的求导过程
		神经网络
			L2
			神经网络激活函数有几种，各有什么优缺点
		神经网络
			L2
			时序数据选择怎么样的模型处理
		神经网络
			L2
			简单介绍一下为什么可以选择交叉熵作为损失函数，交叉熵损失函数的求导
		神经网络
			L2.]]></description><category></category></item><item><title><![CDATA[Transformer是AI时代的芯片，你对Transformer知多少，尝试下回答下面的问题，也欢迎聆听免费课]]></title><link>https://blog.youkuaiyun.com/chu227/article/details/121233093</link><guid>https://blog.youkuaiyun.com/chu227/article/details/121233093</guid><author>chu227</author><pubDate>Tue, 09 Nov 2021 17:44:33 +0800</pubDate><description><![CDATA[nlp技术范围
			难度等级
			问题描述
		文本表示
			L1
			什么是词嵌入
		文本表示
			L1
			词嵌入的实现方式
		文本表示
			L1
			NLP中的文本表示方法有几种
		文本表示
			L1
			NLP中文本分布式表示
		文本表示
			L1
			介绍一下wordvector的实现方式
		文本表示
			L1
			Word2vec的两种训练目标是什么 其中skip-gram训练的loss function是什么
		文本表示
			L2
			使用Wor..]]></description><category></category></item></channel></rss>