原版Transformer的位置编码究竟有没有包含相对位置信息。
不涉及到公式推导,面试的时候能大致说出来就可以,很少会让推导,尽最大可能让大家明白
Transformer 原版的位置编码也就是正余弦函数编码,表达的是绝对位置信息,同时包含相对位置信息。但是经过线性变化,相对位置信息消失。基于此,需要对位置编码进行优化。
原版位置编码使用的是正余弦函数,通过三角函数,可以得出一个结论就是:$PE_{pos+k}$可以被$PE_{pos}$线性表示。
从这一点来说,原版位置编码可以反应一定的相对位置信息。
接下来,我们来看,经过注意力层,这个相对位置信息还在不在?
很简单,把词向量和位置向量作为输入,经过注意力层,然后因式分解,得到四个部分,我们重点关注包含两个不同位置编码的公式部分,形式如下:
我们想要证明,这个公式能不能反应相对位置信息。
为了解决这个问题,我们化繁为简,先从下面这个公式入手:
注意看公式(1)和公式(2)的区别,在中间多了两个矩阵相乘,这两个矩阵,是我们的Q/K矩阵,可以看做是一个线性变化,记住这个细节点。
经过公式推导,我们很容易知道公式(2)最后的结果只和两个位置的相对位置
通过实验我们知道这个结果大小随着相对距离的增大而减小,值得注意的是它并不能反映相对位置的方向,因为他是一个对称的。
具体的我们可以看下面这个图:
很好,接下来,我们就是证明本来可以反映相对位置信息的公式(2),在加上中间这个线性变化之后,相对位置信息还在不在。
直接看效果图:
这个图需要重点看的下面两个,也就是加了线性变化之后,变化趋势从最上面蓝色图标的线变成了下面两条线,也就是趋势已经完全没有了。
也就是说,实验结果显示,公式(1)的结果随着 k 的变化没有明显的趋势变化,也就是说相对位置信息消失了。
上面这些内容,估计5分钟左右吧,本来想加上相对位置编码,不过内容也挺多的,下回再发吧。
同学们,如果觉写的还行,给个在看。
参考链接:
这个文章写的不错,主要是给出来正余弦函数表达相对信息的公式推导
哈工大的SCIR写的文章,不错,从正余弦函数位置信息和相对位置信息和transformerx-l都讲出来了
这个文章很好,讲了位置编码的几种优化,值得好好看看推导一下公式
如何优雅地编码文本中的位置信息?三种positioanl encoding方法简述
夕小瑶的文章,讲了三种位置编码,还可以,没事的时候可以看看
[相对位置编码一)Relative Position Representatitons RPR - Transformer
大佬讲了一下相对位置编码,很好,推荐
相对位置编码(二) Relative Positional Encodings - Transformer-XL
大佬讲的transformer-xl,推荐