transformer模型用来做什么，transformer模型

Transformer和LSTM的对比

1、说句题外话，RetNet也只能算Transformers的一个变种，就算取代了Transformers，和Transformers取代LSTM的意义也还是不一样的。

2、作者利用Transformer作为编码-解码器的backbone，而采用LSTM作为分隔器和聚合器。分隔器采用stack LSTM，具体如下图所示。其中， 表示Gumbel-softmax，目的是使模型可微，同时产生近似离散分布。

3、使用transformer而不是bi-LSTM做encoder，可以有更深的层数、具有更好并行性。并且线性的Transformer比lstm更易免受mask标记影响，只需要通过self-attention减小mask标记权重即可，而lstm类似黑盒模型，很难确定其内部对于mask标记的处理方式。

4、简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 LSTM 已经在科技领域有了多种应用。

NLP预训练语言模型(三):逐步解析Transformer结构

Transformer是近两三年非常火的一种适用于NLP领域的一种模型，本质上是Encoder-Decoder结构，所以多应用在机器翻译(输入一个句子输出一个句子)、语音识别(输入语音输出文字)、问答系统等领域。

Multi-Head Attention就是把Scaled Dot-Product Attention的过程做h次，然后把输出 合起来。

每一层的encoder和decoder的结构如下图所示：transformer模型中缺少一种解释输入序列中单词顺序的方法，它跟序列模型还不不一样。

Transformer原理及其应用

1、变压器的工作原理是用电磁感应原理工作的。变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯）。

2、transformer是变压器 电力变压器是一种静止的电气设备，是用来将某一数值的交流电压（电流）变成频率相同的另一种或几种数值不同的电压（电流）的设备。

3、变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。

4、通常用于机床、机械设备中作为电器的控制照明及指示灯电源。工作原理：控制变压器是用电磁感应原理工作的。变压器有两组线圈。初级线圈和次级线圈。次级线圈在初级线圈外边。

5、Transformer出自google，被广泛应用于NLP的各项任务中，在transformer基础上改进优化的BERT模型在2019年11项NLP任务中表现SOTA。

如何评价Bert与Transformer这两种预训练模型?

BERT 的创新之处在于借助 Transformer 学习双向表示，Transformer 是一种深度学习组件，不同于递归神经网络 (RNN) 对顺序的依赖性，它能够并行处理整个序列。因此可以分析规模更大的数据集，并加快模型训练速度。

XLNet 希望像 BERT 一样采用 [A， SEP， B， SEP， CLS] 的形式处理句子任务，在 BERT 中有两个表征向量 EA 和 EB 分别表示句子 A 和 B。

对比OpenAI GPT(Generative pre-trained transformer)，BERT是双向的Transformer block连接；就像单向rnn和双向rnn的区别，直觉上来讲效果会好一些。

bert架构由两步实现：预训练和模型微调；在预训练阶段，基于无标注数据通过多轮预训练任务完成。在微调阶段，bert模型由预训练的参数进行初始化，然后由待下游的任务数据进行参数微调。 bert模型是多层双向transformer编码器。