Pos_encoding
由PointTR中的Relative Pose Encoding的思考，整理一下
绝对位置编码
- 随机生成一个一样大的随机数seq，加上去
最早的 Relative Pos-enc (Sinsuidal Positional Encoding)
< Attention is all you need >
- 最原始的Positional Encoding，element-wise的加到输入上
-
固定的(本质上是一种相对位置编码)
- pos+k位置的，可以被pos位置的线性表示
- 对称，无法区分前后关系
Pos-enc in TR
Materials
-
让研究人员绞尽脑汁的Transformer位置编码 - PaperWeekly的文章 - 知乎 https://zhuanlan.zhihu.com/p/352898810
