注意力机制相关技术文章与安全漏洞汇总

技术文章 2

当注意力不再需要特征：李代数注意力机制的革命性突破

本文解读了一项突破性研究：李代数注意力（Lie-Algebra Attention）。该研究首次将Transformer中的注意力token定义为矩阵李群的群元素，注意力分数由封闭形式的代数范数直接给出，天然满足等变性，首次让仿射群进入注意力机制的适用范围，用50-80倍更少的参数达到与学习核相当甚至更优的性能。

当"温柔"变成语音：首次解析风格描述如何塑造 AI 语音生成的内部机制

风格描述TTS系统可用自然语言控制语音风格，但每个词如何影响输出一直是黑箱。本文首次将计算机视觉的交叉注意力归因方法迁移到语音扩散模型，分析3600组风格-内容组合，揭示风格词的全局调控特性、与声学参数的关联、以及在扩散早期和深层网络的影响力峰值。