作者：admin 发布时间：2024-02-20 18:30 分类：资讯 浏览：34 评论：0
1、被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。
2、接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。
3、因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。
4、注意力稳定性不够的话就会出现注意游离，老师上课讲的内容没有完整连贯地听进去，继而感到更加无聊。所以就会出现一些小动作、发呆的外在表现。
5、因此，基于注意力的模型会使用位置编码和基于距离的注意力偏置权重。 本文提出一种高效方法，将相对位置表示纳入到变换器的自注意力机制中。我们实验证明，在两个机器翻译任务中，即使用相对位置完全替换绝对位置编码，翻译质量都会显著提高。
6、Attention机制 **Attention： **Attention机制的中文名叫“注意力机制”，顾名思义，它的主要作用是让神经网络把“注意力”放在一部分输入上，即：区分输入的不同部分对输出的影响。
1、变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。
2、变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯）。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。
3、PT（Potential Transformer，电压互感器）和变压器（Transformer）是两种不同的设备，用途和工作原理也有所不同。 用途：- PT（电压互感器）：PT主要用于电力系统中测量和保护装置的电压信号变换和传递。
4、原理简介 Satons变压器主要应用电磁感应原理来工作。
1、可以看的到 Transformer 是比 RNN 有明显差距的。虽然读了这个 RECL 的定义感觉作者有强行定超参拉开两者差距之嫌，但毫无疑问的是 Transformer 确实是最糟糕的，只是不一定有数字上好几倍这么夸张。
2、LSTM是RNN的一种特殊类型，它通过引入记忆单元来解决传统RNN的梯度消失问题。记忆单元可以使得网络在处理长序列数据时记住长期的依赖关系。这使得LSTM在处理语音识别任务时性能更好。
3、长短时记忆网络（LSTM）：长短时记忆网络是一种循环神经网络的变体，专门用于解决长序列任务。通过门控机制，LSTM能够更好地捕获序列中的长期依赖关系，适用于语音识别、自然语言生成等任务。
4、Sequence to sequence learning with neural networks[6].是由Bengio提出的，基于encoder-decoder架构，其中encoder和decoder都是RNN结构，使用的是LSTM。这个架构也上线到Google的翻译中，翻译的质量有些可以超越人类。
5、简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 LSTM 已经在科技领域有了多种应用。
1、总的来说，CNN家族的算法更适合处理有局限性的数据，而Transformer家族的算法更适合处理更加复杂的数据。
2、Transformer优点：（1）突破了RNN模型不能并行计算的限制。（2）相比CNN，计算两个位置之间的关联所需要的操作次数不会随着距离的增长而增加。
3、Transformer 理论上比CNN能得到更好的模型表现，但是因为计算全局注意力导致巨大的计算损失，特别是在浅层网络中，特征图越大，计算复杂度越高，因此一些方法提出将Transformer插入到CNN主干网络中，或者使用一个Transformer模块替代某一个卷积模块。
4、sub-layer-3：Encoder-Decoder attention计算。
