Pos Encoding in TR

Blank.

Posted by tianchen on May 28, 2021

Pos_encoding

由PointTR中的Relative Pose Encoding的思考,整理一下

绝对位置编码

  • 随机生成一个一样大的随机数seq,加上去

最早的 Relative Pos-enc (Sinsuidal Positional Encoding)

< Attention is all you need >

  • 最原始的Positional Encoding,element-wise的加到输入上

  • 固定的(本质上是一种相对位置编码)

    • pos+k位置的,可以被pos位置的线性表示

image-20210528145223441

  • 对称,无法区分前后关系

1803.02155.pdf (arxiv.org)

Pos-enc in TR

Materials