混合专家模型（Mixture-of-Experts，MoE）在大模型时代已经不是什么新鲜事了。从Switch Transformer到Mixtral，MoE架构用"稀疏激活"的思路把模型参数量推到了万亿级别，同时控制了单次推理的计算成本。但有一件事长期被人忽视：这些模型输出的"置信度"到底靠不靠谱？
当MoE告诉你"我有90%的把握这是一只猫"的时候，这个90%真的意味着十次判断里有九次是对的吗？答案是：在训练分布内也许差不多，但一旦数据分布发生偏移——这在真实世界部署中几乎是不可避免的——这个概率就可能变得毫无意义。
来自约翰斯·霍普金斯大学的Gina Wong、Drew Prinster等人在最新研究中系统性地分析了这个问题。他们发现了一个关键的结构性结论：在硬路由（hard routing）的MoE模型中，只要每个专家单独满足校准要求，整个模型在一大类分布偏移下就会自动保持校准；但对于软路由（soft routing）模型，这个结论完全不成立。更进一步，他们提出了一种对抗性重加权方法来弥补这个缺陷，在多个数据集和模型架构上实现了显著的改进。
这篇论文的价值不在于又刷了一个SOTA，而在于它认真回答了一个被长期忽视的基础问题：我们到底能不能信任MoE模型告诉我们的概率？在医疗诊断、自动驾驶、金融风控这些高风险场景里，这个问题的重要性怎么强调都不为过。
论文信息
论文标题： Toward Calibrated Mixture-of-Experts Under Distribution Shift
作者： Gina Wong, Drew Prinster, Suchi Saria, Rama Chellappa, Anqi Liu
机构： 约翰斯·霍普金斯大学（Johns Hopkins University）
论文链接： arXiv:2606.20544v1
分类： cs.AI, cs.LG
关键词： 校准（Calibration）、混合专家模型（Mixture-of-Experts）、分布偏移（Distribution Shift）、不确定性量化、路由机制
研究背景与动机
什么是模型校准？
在进入MoE的讨论之前，我们需要先理解一个基础概念：模型校准（calibration）。假设一个图像分类器对1000张图片都给出了"80%概率是猫"的预测。如果这个模型是校准良好的，那么在这1000张图片中，确实应该大约有800张是猫。换言之，模型输出的概率应该忠实反映实际发生的频率。
这不是一个可有可无的属性。在临床决策支持系统中，如果模型说"这个患者有95%的概率患有某种疾病"，医生会根据这个概率来决定治疗方案的激进程度。如果模型的实际准确率只有60%，但输出的置信度却高达95%，那这个模型不仅不可信，而且可能造成严重的医疗事故。
校准问题的经典处理方法是温度缩放（temperature scaling）。简单来说，就是学习一个温度参数来"软化"或"锐化"模型输出的softmax概率分布，使其更接近真实频率。这个方法简单有效，但它有一个根本性的假设：校准可以在整个数据集上一次性完成，不区分不同的子群体或输入区域。
集成学习与MoE的校准故事
集成学习（ensemble learning）一直是提升模型性能的可靠范式。把多个独立训练的模型组合起来，取平均或者加权平均，往往能得到比单个模型更好的结果。近年来，研究者开始在集成的层面上探索校准——不是校准最终的聚合输出，而是在每个单独的基学习器（base learner）层面施加校准约束。
这个方向的工作发现了一个有趣的现象：当你对集成中的每个成员都进行单独校准时，聚合后的模型不仅校准性能更好，准确率也往往有所提升。这打破了传统观念中"校准和准确率是此消彼长的权衡"的刻板印象。
MoE模型本质上就是一种特殊的集成。与传统集成不同的是，MoE使用一个门控网络（gating network，也叫路由器 router）来决定对于每个输入，哪些专家应该被激活以及各自的权重。这种稀疏激活机制使得MoE可以在参数量极大的情况下保持可控的计算开销。
然而，这里出现了一个关键问题：MoE的路由器是和整个模型一起训练的，它不是简单的平均或固定权重，而是一个依赖于输入的动态路由函数。这意味着MoE的聚合方式比传统集成更复杂，传统集成校准的理论结论未必能直接迁移过来。
分布偏移：真实世界的常态而非例外
分布偏移（distribution shift）是指模型在部署时遇到的数据分布与训练时不同。这种差异可能是协变量偏移（输入分布改变）、标签偏移（输出分布改变）、或者概念漂移（输入到输出的映射关系改变）。
在实验室里训练和测试的模型，面对的是同一个数据分布。但在真实世界中，数据几乎总是在变化：医院换了新设备，图像质量变了；用户群体的偏好随时间漂移；传感器在不同天气条件下表现不同。如果一个模型只在训练分布下表现出色，一旦出了实验室就"失准"，那它的实际应用价值就大打折扣。
现有的MoE校准研究大多忽略了分布偏移这个维度。它们只关注"在同分布测试集上，MoE的校准性如何"。但本文的研究者敏锐地意识到，真正需要回答的问题是：当数据分布发生变化时，MoE模型的校准性能会如何退化？以及，我们能做什么来缓解这种退化？
硬路由与软路由：两种截然不同的哲学
MoE模型根据路由器的输出方式，可以分为两大类。硬路由（hard routing）为每个输入选择一个或少数几个专家，其他专家的权重为零。Switch Transformer就是硬路由的代表——每个token只被路由到一个专家。软路由（soft routing）则为所有专家分配非零权重，只是权重大小不同。Mixtral的门控机制更接近软路由。
这两种路由策略的选择不只是工程上的便利性考量，它深刻影响了MoE模型的统计性质。本文的一个核心贡献就是揭示了这种影响在校准层面的具体表现。
核心发现
发现一：硬路由MoE的校准保持定理
本文最重要的理论结果可以这样表述：对于一个硬路由的MoE模型，如果每个专家在其被分配的输入子集上是校准良好的，那么整个MoE模型在一大类分布偏移下也会保持校准。
这是一个非常强的结论。它的直觉解释如下：硬路由把输入空间划分成了若干个区域，每个区域由一个（或少数几个）专家负责。如果你确保每个专家在"自己的地盘"上都是校准的，那么不管数据分布怎么变化——只要变化不改变路由的分配结果——整个模型自然就是校准的。
用一个日常比喻来说：想象一家医院有若干个专科医生（专家），每个患者经过分诊台（路由器）被分配到对应的科室。如果每个医生对自己科室里的患者都能给出准确的诊断概率，那么不管来的是什么样的患者群体，这家医院的整体诊断概率都是可靠的。
但这里有一个重要的前提条件："变化不改变路由的分配结果"。如果分布偏移导致大量输入被路由到错误的专家，那就打破了这个保证。不过研究者证明，在相当宽泛的条件下——特别是当分布偏移是"平滑"的、不产生极端的路由变化时——这个定理是成立的。
发现二：软路由MoE的校准脆弱性
与硬路由形成鲜明对比的是，软路由MoE即使每个专家都单独校准了，聚合后的模型也可能严重失准。
原因在于，软路由模型的最终预测是多个专家输出的加权平均。每个专家可能都是校准的，但当它们的加权平均被计算出来时，校准性可能会被破坏。这就好比你有两支温度计，各自都很准确，但如果你用一个奇怪的权重组合它们的读数——比如70%的温度计A加上30%的温度计B——得到的"综合温度"可能既不等于A也不等于B，而且可能偏离真实温度。
数学上，这是因为校准不是一个在凸组合下保持的性质。函数是校准的，不代表它们的加权平均也是校准的，除非满足一些特殊条件（比如所有函数相同，或者权重不依赖输入）。
在分布偏移下，这个问题会进一步恶化。因为软路由的权重是输入依赖的，分布偏移可能改变权重的分布，使得原本在训练分布下尚可接受的聚合方式在新分布下严重偏离校准。
发现三：对抗性重加权的有效性
针对软路由MoE的校准问题，研究者提出了一种对抗性重加权（adversarial reweighting）方法。核心思路是：在训练过程中，模拟最坏情况下的分布偏移，让模型在这种"对抗性"的权重分布下仍然保持校准。
具体来说，该方法在训练损失函数中加入一个校准惩罚项，但这个惩罚项不是在训练数据的原始分布下计算的，而是在一个经过对抗性扰动的分布下计算的。这个扰动会放大模型校准误差最大的区域，迫使模型在那些最难的输入子集上也要保持校准。
这就像一个老师在给学生出考题时，不是随机出题，而是专门挑学生最容易犯错的知识点来考。经过这种"针对性训练"，学生（模型）在面对任何考试（分布偏移）时都会更从容。
发现四：准确率与校准的双赢
传统观点认为，校准和准确率之间存在此消彼长的关系——你越追求概率的准确性，就越可能牺牲分类边界附近的判别力。但本文的实验表明，在MoE模型中，通过适当的校准约束（无论是专家层面的单独校准还是对抗性重加权），可以同时改善准确率和校准性。
这背后的道理其实不难理解。校准约束实际上在告诉模型："不要对自己的预测过度自信。"这种约束会鼓励模型更多地依赖真正的信号而不是噪声来做判断，从而间接提升了模型的泛化能力。
技术方法详解
MoE模型的基本架构
在深入技术细节之前，让我们用一个通俗的类比来理解MoE的工作原理。
想象你走进一家大型综合医院。这家医院有很多科室——心内科、骨科、皮肤科、神经科等等（这就是"专家"）。当你到达医院门口时，有一个预检分诊台（这就是"路由器"）。分诊台的护士会快速评估你的症状，然后把你分到最合适的科室。
硬路由就像严格的分诊：你只能去一个科室，其他科室完全不参与。效率高，但如果你的病症涉及多个科室，就可能漏诊。软路由则像"多学科会诊"：分诊台认为你的情况可能同时涉及心内科和神经科，于是两个科室的医生都参与诊断，各占一定权重。
MoE的核心公式可以写成：
$$f(x) = \sum_{i=1}^{N} g_i(x) \cdot e_i(x)$$
其中 $g_i(x)$ 是路由器为第 $i$ 个专家分配的权重（对于硬路由，只有一个 $g_i$ 为1，其余为0），$e_i(x)$ 是第 $i$ 个专家的输出。
校准的数学定义
一个分类器 $f$ 被称为校准的（calibrated），如果对于所有的预测概率值 $p$ 和所有的真实类别 $c$，有：
$$P(Y = c \mid f(X) = p) = p_c$$
也就是说，当模型说"这是类别c的概率是p"的时候，实际的条件概率确实等于p。
直观理解：如果我从所有模型输出"猫的概率为80%"的样本中随机抽取一个，那么这个样本是猫的概率确实应该是80%。
硬路由校准定理的证明思路
研究者证明的关键定理是：对于硬路由MoE，如果每个专家 $e_i$ 在其负责的输入区域 $\mathcal{X}_i$ 上是校准的，那么在分布偏移 $\tilde{P}$ 满足一定条件下，整体MoE模型也是校准的。
证明的核心思路非常优雅。硬路由模型把输入空间 $\mathcal{X}$ 划分为若干不相交的区域 $\mathcal{X}_1, \mathcal{X}_2, \ldots, \mathcal{X}_N$，每个区域对应一个专家。对于任意输入 $x$，模型的输出就是负责该区域的专家的输出。
关键的insight是：在硬路由下，整体模型的校准问题可以被完全分解为每个专家的校准问题。因为路由是确定性的——给定输入 $x$，哪个专家负责是明确的——不存在多个专家输出混合的问题。
用医院的比喻来说：如果你严格被分到了心内科，那么你的诊断质量完全取决于心内科医生的水平。只要心内科医生在心脏疾病上是准确的，你就不需要担心其他科室的影响。
研究者进一步表明，这个定理在以下分布偏移条件下成立：偏移改变了每个路由区域内的输入分布，但没有改变路由的分配方式（即 $x$ 仍然被路由到同一个专家）。这种条件在实践中是比较宽泛的——很多真实的分布偏移（如光照变化、传感器噪声等）主要改变的是输入的特征表示，而不是改变输入应该被路由到哪个专家。
软路由为什么不行？
软路由模型的输出是多个专家的加权平均。即使每个专家都是校准的，它们的加权平均也不一定是校准的。
用一个具体例子来说明。假设对于某个输入 $x$，软路由给专家A分配权重0.6，给专家B分配权重0.4。专家A预测"这是猫"的概率是0.9，专家B预测的概率是0.7。聚合后的预测是 $0.6 \times 0.9 + 0.4 \times 0.7 = 0.82$。
现在，即使专家A和专家B各自是校准的，这个0.82也不一定对应真实的"是猫"概率。这是因为0.82不是一个独立训练的分类器给出的概率——它是两个不同分类器输出的混合。这种混合会扭曲概率的含义。
更糟糕的是，当分布偏移发生时，路由器的权重分配可能会改变。如果分布偏移使得原本由专家A主导的输入现在更多地被分配给专家B，那么聚合方式的变化会进一步加剧校准的失准。
研究者用一个数学反例精确地展示了这种失灵情况。他们构造了一个简单的软路由MoE，其中每个专家都是完美校准的，但聚合后的模型在特定分布偏移下可以产生任意大的校准误差。
对抗性重加权方法
为了修复软路由MoE的校准问题，研究者提出了对抗性重加权（adversarial reweighting）方法。这个方法可以看作是对传统校准方法的一种"鲁棒化"改进。
方法的核心思想如下：
标准校准损失：首先，计算模型在校准性上的损失。这通常使用期望校准误差（Expected Calibration Error，ECE）或其可微近似来衡量。ECE把预测概率分成若干个bin，计算每个bin内平均预测概率和实际频率之间的差异，然后取加权平均。
对抗性扰动：在计算校准损失时，不是均匀地对待所有样本，而是学习一个对抗性的样本权重分布。这个权重分布会自动放大那些校准误差最大的样本（或子群体）的权重。
最小-最大优化：整个训练过程变成一个min-max博弈。内部的max问题寻找最坏情况的样本权重分布（使得校准误差最大化），外部的min问题调整模型参数以最小化这个最坏情况下的校准误差。
用通俗的语言来说，这个方法相当于在训练过程中不断地问自己："我在哪些样本上校准得最差？"然后把更多的注意力放在那些最难的样本上。
这个对抗性框架的理论基础来自分布鲁棒优化（Distributionally Robust Optimization，DRO）。DRO的目标是找到一个在最坏情况分布下仍然表现良好的模型。通过将DRO与校准损失结合，研究者把"在分布偏移下保持校准"这个问题转化成了一个可优化的训练目标。
具体到实现层面，对抗性权重的学习是通过一个梯度上升步骤完成的。在每个训练batch中，先计算当前模型参数下的校准损失，然后对样本权重做一步梯度上升（使得校准损失增大），再对模型参数做一步梯度下降（使得这个增大后的损失减小）。这种交替优化是标准的对抗训练范式。
一个重要的实现细节是权重的约束。为了避免对抗性权重退化为只关注少数几个最差样本（导致过拟合），研究者对权重施加了约束——通常是要求权重在一个单纯形内（非负且和为1），或者限制权重的最大值。这确保了模型在关注难样本的同时，不会完全忽略容易的样本。
与传统温度缩放的对比
传统的温度缩放方法只学习一个全局标量来调整softmax的"温度"。这种方法简单高效，但它有一个根本性的局限：它假设整个输入空间只需要一个统一的调整。
在分布偏移下，不同输入区域可能需要不同程度的调整。比如，对于远离训练分布的输入，模型可能过度自信，需要更大的温度来软化预测；而对于接近训练分布的输入，温度可能不需要太大。一个全局的温度参数无法满足这种差异化需求。
本文的对抗性重加权方法则通过学习输入依赖的权重来适应这种差异。虽然它不是直接学习一个输入到温度的映射，但通过在不同样本上施加不同的校准压力，它间接实现了类似的效果。
实验结果分析
实验设置
研究者在多个维度上进行了系统的实验：
- 模型架构：测试了不同类型的MoE实现，包括基于Transformer的MoE和其他类型的集成模型
- 数据集：涵盖了图像分类和表格数据分类任务
- 分布偏移类型：包括协变量偏移、标签偏移和合成的对抗性偏移
- 评估指标：使用ECE（期望校准误差）、MCE（最大校准误差）和准确率来综合评估
关键实验结果
实验一：验证硬路由校准定理
在硬路由MoE上，研究者首先确认了理论预测。当每个专家单独进行校准后，整体模型在同分布和多种分布偏移下都保持了良好的校准性。具体数据显示，专家层面的校准使得整体模型的ECE降低了30%-50%，且这种改善在分布偏移下也基本保持。
这个结果直接验证了理论的实用性：在部署硬路由MoE时，你只需要确保每个专家是校准的，就可以对整体模型的校准性有信心。
实验二：展示软路由的校准失败
在软路由MoE上，即使每个专家都单独校准了，聚合后的模型在分布偏移下的ECE可以比同分布下高2-3倍。更令人担忧的是，这种校准退化不是均匀的——它集中在那些路由器不确定性最高的输入上，也就是模型最需要可靠概率估计的那些困难样本。
研究者用一个可视化图表展示了这种现象：在分布偏移下，软路由模型的概率直方图严重偏离对角线（理想校准的参考线），尤其在高置信度区域出现了明显的过度自信。
实验三：对抗性重加权的效果
引入对抗性重加权后，软路由MoE的校准性得到了显著改善。在所有测试的分布偏移场景下，ECE平均降低了25%-40%。更重要的是，准确率没有下降——在大多数情况下甚至略有提升。
一个特别值得注意的结果是在数据的"困难子集"上的表现。这些困难子集是那些模型最容易出错、也最容易失准的样本。对抗性重加权在这些子集上的改善尤为明显，ECE降低了40%-60%，同时准确率也有3%-5%的提升。
这表明对抗性重加权不仅改善了整体的校准性，还特别有针对性地解决了模型最薄弱的环节。
实验四：跨架构泛化
研究者还在不同的MoE架构和不同的任务上验证了方法的泛化性。结果显示，对抗性重加权的改善效果在不同的模型规模、不同的专家数量、不同的任务类型下都是一致的。这说明该方法捕捉到的是软路由MoE校准问题的本质结构，而不是某个特定架构的特殊现象。
与现有工作对比
与传统校准方法的对比
传统校准方法（温度缩放、Platt缩放等）主要关注后处理校准——即在模型训练完成后，用一个额外的校准层来调整输出概率。这些方法在同分布下效果不错，但面对分布偏移时往往力不从心，因为它们无法适应新的数据分布。
本文的方法在训练过程中就考虑了校准问题，通过对抗性重加权在最坏情况下优化校准性。这使得模型在面对未见过的分布偏移时有更好的鲁棒性。
与集成校准工作的对比
先前的集成校准工作（如Scaling Bayesian Model Averaging等）已经展示了在集成成员层面进行校准的好处。但这些工作主要关注传统的bagging或boosting集成，没有考虑MoE特有的动态路由机制。
本文的贡献在于明确区分了硬路由和软路由这两种不同的聚合方式，并证明了它们在校准性质上的根本差异。这种结构性的分析是之前的工作所缺乏的。
与分布鲁棒优化的对比
分布鲁棒优化（DRO）是一个成熟的研究方向，本文的对抗性重加权方法与之有直接的联系。但本文的独特之处在于将DRO与校准问题结合，并在MoE这个特定的模型结构下进行了深入的分析。
相比于通用的DRO方法，本文的方法利用了MoE的结构特性（特别是专家分解），使得理论分析更加精细，实验效果也更有针对性。
与不确定性量化工作的对比
不确定性量化（Uncertainty Quantification，UQ）是一个更广泛的研究领域，校准只是UQ的一个方面。贝叶斯神经网络、MC Dropout、深度集成等方法都旨在提供更好的不确定性估计。
本文的工作可以看作是UQ在MoE模型上的一个专门化研究。它不试图替代这些通用方法，而是针对MoE这个日益流行的架构，提供了一套专门的校准理论和方法。
潜在应用与影响
大语言模型中的MoE校准
当前最热门的大语言模型中，MoE架构已经占据了重要地位。Mixtral、DeepSeek-V2/V3等模型都采用了MoE架构。这些模型在对话、推理等任务上表现出色，但它们的置信度是否可靠？在医疗问答、法律咨询等高风险应用中，这个问题尤为关键。
本文的理论和方法为这些大模型的校准研究提供了理论基础。特别是，如果一个MoE语言模型采用的是硬路由机制，那么本文的定理告诉我们，只需校准每个专家（这比校准整个大模型简单得多），就可以保证整体的校准性。
医疗AI中的应用
医疗AI是校准性最为关键的应用场景之一。医生需要知道AI给出的诊断概率是可靠的，才能合理地参考这些信息来做决策。MoE模型在医疗影像分析中有广泛的应用（比如不同的专家负责不同类型的病变），校准性的好坏直接关系到临床决策的质量。
本文的对抗性重加权方法特别适合医疗场景，因为医疗数据的分布偏移非常常见（不同医院的设备、不同地区的人群特征等），而这些偏移不能通过简单的数据增强来覆盖。
自动驾驶中的不确定性估计
自动驾驶系统需要对每个感知决策给出可靠的不确定性估计。MoE模型在自动驾驶感知中也有应用（比如不同的专家处理不同的天气条件或场景类型）。如果模型的置信度不可靠，自动驾驶系统就无法合理地做出保守还是激进的决策。
本文的方法可以帮助自动驾驶系统在面对新场景（如从未见过的天气条件）时，仍然给出可靠的概率估计，从而提高系统的安全性。
对MoE架构设计的启示
本文的理论发现对MoE的架构设计也有重要启示。如果校准性是一个重要的设计目标（在很多实际应用中确实是），那么硬路由机制有天然的优势——它的校准性可以通过专家层面的校准来保证，而不需要复杂的后处理。
这可能会影响未来MoE模型的路由策略选择。在那些对概率可靠性要求高的场景中，设计者可能更倾向于采用硬路由或接近硬路由的机制。
对模型评估范式的影响
本文也呼吁在模型评估中更多地关注校准性指标。当前的模型评估主要关注准确率、F1分数等判别性指标，而忽视了概率的质量。在实际部署中，一个校准良好的模型可能比一个准确率略高但校准很差的模型更有用。
局限性与未来方向
当前方法的局限性
对抗性训练的计算开销：对抗性重加权需要在每个训练步骤中进行额外的梯度计算（对权重的梯度上升），这增加了训练的计算成本。在大规模MoE模型上，这个开销可能不可忽略。
理论条件的限制：硬路由校准定理的成立需要一定的条件——主要是分布偏移不能改变路由的分配。在极端的分布偏移下（比如遇到一个与训练数据完全不同的新领域），这个条件可能不满足。
ECE作为校准度量的局限：ECE是一个常用的校准度量，但它基于对概率空间的离散化（binning），不同的bin策略可能给出不同的结果。研究者使用了多种bin策略来缓解这个问题，但ECE本身的局限性仍然存在。
软路由修复的不彻底性：虽然对抗性重加权显著改善了软路由MoE的校准性，但它并没有从根本上解决软路由校准困难的问题。在某些极端情况下，软路由MoE的校准误差仍然可能较大。
未来研究方向
更高效的对抗性训练方法：探索如何以更低的计算成本实现类似的效果。可能的方向包括使用近似方法、或者将对抗性重加权与模型的其他训练目标更好地整合。
动态路由对校准的影响：本文主要关注静态的路由机制。在实际的MoE模型中，路由可能随着训练的进行而动态变化。理解这种动态变化如何影响校准性是一个有价值的未来方向。
多任务和迁移学习场景下的校准：本文主要在单一任务上评估了校准性。在多任务学习和迁移学习中，MoE的校准问题可能更加复杂。
与大语言模型对齐的结合：在大语言模型的RLHF（人类反馈强化学习）中，模型的置信度对生成策略有重要影响。将校准性约束融入RLHF训练过程是一个有趣的研究方向。
非分类任务的校准：本文主要关注分类任务的校准。在回归、生成等任务中，校准的定义和度量方式有所不同。将本文的方法推广到这些任务中需要进一步的研究。
校准与公平性的关系：分布偏移往往与群体公平性问题相关联。如果模型在某些子群体上校准失准，可能导致对这些群体的不公平对待。探索校准性、分布偏移和公平性三者之间的关系是一个有现实意义的方向。
总结
这篇来自约翰斯·霍普金斯大学的研究系统性地分析了混合专家模型在分布偏移下的校准问题。它的核心贡献可以概括为三点：
第一，理论上证明了硬路由MoE在专家校准条件下可以保持整体校准。这个结论为硬路由MoE的部署提供了信心保证。
第二，明确指出了软路由MoE在分布偏移下校准困难的根本原因——多个校准专家的凸组合不保持校准性。这个发现澄清了一个之前没有被充分认识的问题。
第三，提出了对抗性重加权方法来修复软路由MoE的校准问题，在多个实验设置下实现了显著的改善。
在MoE架构日益成为大模型主流选择的今天，这项工作提醒我们：模型性能不只是准确率的问题，概率的可靠性同样重要。尤其是在高风险应用中，一个告诉你"我90%确定"的模型，你最好确保这个90%是值得信赖的。
这是一篇扎实的、既有理论深度又有实用价值的工作。它不会登上头条新闻，但如果你正在部署MoE模型——特别是在那些概率估计会影响实际决策的场景中——这篇论文值得仔细阅读。
评论