论文解读相关技术文章与安全漏洞汇总

技术文章 4

可预测性：一种比差分隐私更精细的隐私度量框架

本文解读Lu与Sridharan的论文，该文提出"基于可预测性的隐私"框架，以攻击者预测能力增量来度量隐私泄露，相比差分隐私的最坏情况假设更精细。框架显式建模攻击者已有知识、数据生成过程和敏感查询族，证明与DP一般不可比但极端场景蕴含MI-DP，并基于广义矩方法推导ERM输出扰动方案。文章从研究动机、技术方法、理论对比到应用前景做了全面中文解读。

当注意力不再需要特征：李代数注意力机制的革命性突破

本文解读了一项突破性研究：李代数注意力（Lie-Algebra Attention）。该研究首次将Transformer中的注意力token定义为矩阵李群的群元素，注意力分数由封闭形式的代数范数直接给出，天然满足等变性，首次让仿射群进入注意力机制的适用范围，用50-80倍更少的参数达到与学习核相当甚至更优的性能。

当差分隐私遇上可预测性：一种更精细的隐私保护新框架

本文深入解读Linda Lu和Karthik Sridharan发表的最新研究，提出基于可预测性的隐私（Privacy via Predictability）这一全新框架。与传统差分隐私的最坏假设不同，该框架显式考虑攻击者已掌握的部分数据背景，将隐私泄漏量化为攻击者观察算法输出后对敏感信息预测能力的增量提升。文章系统分析了该方法与差分隐私的异同、技术细节、潜在应用及未来方向。

扩散语言模型的推理透明度：DiffusionGemma能否被真正理解？

扩散语言模型DiffusionGemma的推理透明度看似比自回归模型差28.6倍，但通过token瓶颈映射可降至1.1倍。研究还发现了非时序推理、token涂抹等扩散模型独有的推理现象，为新一代语言模型的安全评估奠定基础。