#混合专家模型

当MoE遇上分布偏移：专家校准如何拯救混合专家模型的可靠性危机

混合专家模型(MoE)在大模型时代大放异彩，但其预测概率的可靠性在数据分布发生变化时严重退化。本文解读Gina Wong等人发表于arXiv的最新研究，揭示了硬路由MoE与软路由MoE在校准机制上的本质差异——专家层面的校准足以保证硬路由模型的整体校准，但对软路由模型则完全失效。研究者提出对抗性重加权方法，在分布偏移下显著改善了准确性与校准性的权衡。