#几何深度学习

当注意力不再需要特征：李代数注意力机制的革命性突破

本文解读了一项突破性研究：李代数注意力（Lie-Algebra Attention）。该研究首次将Transformer中的注意力token定义为矩阵李群的群元素，注意力分数由封闭形式的代数范数直接给出，天然满足等变性，首次让仿射群进入注意力机制的适用范围，用50-80倍更少的参数达到与学习核相当甚至更优的性能。