PASQA：专攻声调重音的语音质量评估模型——让AI也能听出「味噌汤里放错了盐」
TL;DR
现有的语音质量评估模型（MOS预测器）对句子整体的"自然度"打分很在行，但对局部的声调重音错误（pitch-accent error）却视而不见——就像一个美食评委只看摆盘整体是否好看，却尝不出哪道菜盐放多了一样。PASQA专门解决这个问题：它用合成语音制造"可控的声调错误"来训练模型，让模型学会像日语母语者一样敏锐地捕捉重音位置的偏差。实验表明，传统模型完全排不出声调错误的严重程度，而PASQA不仅排得准，还与人类判断高度一致。该论文已被INTERSPEECH 2026接收。
论文信息
- 标题：PASQA: Pitch-Accent-Focused Speech Quality Assessment Model Trained on Synthetic Speech with Accent Errors
- 作者：Masaya Kawamura, Yuma Shirahata, Kentaro Mitsui, Reo Shimizu
- 机构：LY Corporation（原Yahoo Japan与LINE合并后的公司，日本最大的互联网集团之一）
- 发表：INTERSPEECH 2026（语音技术领域最具影响力的国际学术会议之一，与ICASSP并列为语音领域双顶会）
- 论文链接：https://arxiv.org/abs/2606.20137
- 代码：https://github.com/lycorp-jp/PASQA
- 领域：语音信号处理（eess.AS）、计算语言学（cs.CL）、机器学习（cs.LG）、声音（cs.SD）
研究背景与动机
TTS技术的"最后一公里"难题
语音合成技术（Text-to-Speech, TTS）在过去几年经历了爆发式进展。从2016年DeepMind的WaveNet首次让机器生成以假乱真的语音波形开始，到Tacotron系列将注意力机制引入序列到序列的语音合成，再到FastSpeech通过非自回归架构实现快速推理，以及VITS将变分推断与对抗训练结合产生高保真语音——每一步都让人机之间的语音交互更接近人类水平。如今，基于扩散模型和大语言模型的语音合成系统已经能够生成听起来极其自然的语音，甚至能模仿特定说话人的音色、情感和语调。
但"听起来自然"和"发音正确"之间，存在着一条微妙而关键的鸿沟。一个TTS系统可能生成了一段语速流畅、停顿恰当、音质清晰的语音，整体听感让人觉得"这确实是人类在说话"。但在某些词的声调重音上，它可能犯了错误——就像一个外语学习者，虽然语法和词汇都没问题，但某些词的声调读错了，导致母语者一听就知道"哪里不对劲"。这种"整体流畅、局部出错"的现象在日语TTS系统中尤为普遍，因为日语的声调系统极为精密，每个词的声调模式都需要准确记忆和正确执行。对于一个从文本预测声学特征的神经网络来说，记住数千个词的正确声调模式并在各种上下文中正确使用，是一个远比"生成自然语调"更加精细的任务。
日语声调：一个独特的韵律系统
日语是一种"声调语言"（pitch-accent language），这个术语在语言学中有严格的定义，与中文等"声调语言"（tone language）又有区别。日语的声调系统不像中文那样每个音节都有固定的声调类别（一声、二声、三声、四声），而是在词的层面上形成一个音高起伏的模式。
日语的基本韵律单位是音拍（mora），而不是音节（syllable）。一个音拍可以是一个元音、一个辅音加元音的组合，或者特殊音拍如促音（っ）、拨音（ん）、长音（ー）。日语的声调变化发生在音拍之间——某个位置上，音高从低到高发生一次转折（称为"声调核"或accent nucleus），之后音高保持或下降。根据这个转折点的位置不同，日语的声调模式可以分为几种基本类型：
- 平板型（Heiban）：第一个音拍低，之后全部高，没有下降。例如"かき"（柿子，ka-ki，低-高）。
- 头高型（Atamadaka）：第一个音拍高，之后全部低。例如"はし"（桥，ha-shi，低-高→实际是低-高-低在后续助词中体现）。
- 中高型（Nakadaka）：中间某个音拍是最高点，前后都低。
- 尾高型（Odaka）：最后一个音拍是高音，后续助词的音高下降。
最经典的例子是"はし"（hashi）这个词。如果声调模式是头高型（低-高-低），它的意思是"桥"（橋）；如果是尾高型（低-高-高，后续助词中下降），它的意思是"筷子"（箸）。一个音高的微妙差异，意思就从桥变成了筷子。
对于母语者来说，这种声调差异是与生俱来的语言直觉，就像中国人能瞬间区分"妈麻马骂"四个声调一样自然。但对TTS系统来说，声调重音的生成是一个极具挑战性的任务。模型需要准确知道每个词的声调类型、该词在句子中的上下文声调变化、以及说话人风格对声调的影响，然后在生成语音波形时精确地控制每个音拍的基频（F0）走向。这比生成"听起来像人"的整体语调要精细得多。
日语声调的复杂性还体现在复合词（复合語）的声调规则上。当两个词组合成一个复合词时，复合词的声调并不是简单地把两个词的声调拼接在一起，而是遵循一套复杂的声调规则（如"后面的词的第一个音拍如果是头高型则变成中高型"等）。这些规则有很多例外，即使是日语母语者也经常在专业术语和新造词的声调上犯错。对于TTS系统来说，这种复合词声调的处理是一个巨大的挑战——模型不仅需要知道每个基础词的声调类型，还需要知道它们组合后的声调变化规则。
评估工具的盲区
现有的语音质量评估体系在这个问题上存在根本性的盲区。目前业界最常用的评估指标是MOS（Mean Opinion Score，平均意见分），它衡量的是语音的整体自然度——让人类评估者给一段语音从1到5打分，1分是完全不自然，5分是完全自然。自动化MOS预测模型，如DNSMOS（微软在Deep Noise Suppression挑战赛中开发的模型）、UTMOS（在VoiceMOS挑战赛中表现突出的模型）等，已经在语音质量评估领域取得了巨大成功，能够在不需要人工参与的情况下快速评估大量语音样本的质量。
但这些模型的设计目标是评估"整体听起来好不好"，而不是"声调读得对不对"。它们在训练数据中见过的各种质量问题主要是噪声、混响、编码伪影、频带限制等信号层面的问题，以及停顿不当、语速异常等宏观韵律问题。声调重音这种微观层面的词级韵律错误，要么在训练数据中极为罕见，要么被整体自然度的评估框架所淹没。
打个比方：假设你去一家日料店，厨师端上来一碗味噌汤。这碗汤闻起来香、看起来漂亮、温度也刚好——整体"自然度"很高。但如果你仔细品尝，发现他把盐当成了糖放了进去。一个只关注"整体印象"的评委可能会给高分，但一个真正懂味噌汤的评委应该能立刻指出那个具体的错误。PASQA要做的，就是成为后面那种评委。
为什么这个问题重要
在TTS系统的开发迭代中，如果评估指标无法检测到声调错误，开发者就无法及时发现和修复这些问题。模型可能在MOS评分上一路走高，但实际上在声调准确性上原地踏步甚至退步。这就像是一个学生只练听力不练口语——考试成绩上去了，但实际交流能力反而下降了。在工业界，这个问题的后果更加严重：一个在MOS上表现优异的TTS模型可能被部署到生产环境中，而用户——尤其是日语母语者——很快就会发现声调问题，导致产品口碑下降。
在实际应用场景中——比如日语学习应用的TTS发音示范、智能音箱的日语语音交互、新闻播报系统的自动语音合成——声调错误可能导致严重的歧义或误解。想象一下一个日语学习App把"hashi"的声调教错了，学生跟着学了一年才发现自己一直在用筷子的调说桥。这种场景下，声调的正确性比整体的自然度更加重要。
数据困境
然而，构建一个专门评估声调重音质量的模型面临着一个根本性的困难：数据稀缺。要训练这样的模型，你需要大量的语音样本，每个样本都带有"声调是否正确"的标注。人工标注声调重音不仅需要专业的语言学知识（标注者需要知道每个词的标准声调模式，并能在语音信号中识别出实际的声调模式），而且成本极高、耗时极长，标注者之间的一致性也很难保证。
更重要的是，你需要控制变量——你希望训练数据中唯一的变量就是声调的对错，而说话人、语速、情感等其他因素保持不变，这样才能让模型专注于学习声调这个维度。在真实语音数据中，这些变量是无法精确控制的。即使请同一个说话人读同一个句子两次，两次的语速、情感、微小的发音差异都会不同，这些差异会成为干扰模型学习声调因素的噪声。
这就引出了PASQA最核心的创新思路：既然真实数据难以获取，那就自己"造"数据——用可控的合成语音来构建训练集。
核心发现
发现一：传统MOS预测模型对声调错误"失明"
这是整篇论文最重要的实证发现。研究者通过精心设计的实验，证明了现有的主流MOS预测模型在面对不同程度的声调重音错误时，给出的分数几乎没有区别。具体来说，当声调错误率从0%上升到较高水平时，这些传统模型的预测MOS分数变化微乎其微，完全无法区分"声调完美"和"声调一团糟"的语音。更致命的是，这些模型给出的分数排序与声调错误的严重程度之间没有相关性，甚至可能出现"声调错误越多、分数越高"的荒谬情况。
这就好比一个温度计，你把它插进冰水里显示25度，插进沸水里还是显示25度——这样的温度计显然已经失去了测量功能。传统MOS模型在声调评估这个维度上，就处于这种"失灵"状态。这个发现对整个TTS评估领域都有警醒意义：我们一直在用的评估工具，在某个重要维度上可能是无效的。这也从侧面说明，语音质量是一个极其复杂的多维概念，用一个单一的MOS分数来概括一切的做法，注定会在某些维度上产生盲区。
发现二：合成数据驱动的训练方案切实可行
研究者利用声调可控的TTS系统（accent-controllable TTS），通过精确改变合成语音中的声调模式，构建了一个大规模的"声调错误数据集"。关键在于，这些合成语音的其他属性——说话人音色、语速、音质等——可以保持一致，唯一变化的就是声调的正确与否。这种"控制变量法"在语音研究中是极为理想的实验条件。
在此基础上，研究者设计了一套"伪声调质量分"（pseudo accent-quality score）的计算方法：根据每条语音中的声调错误率来打分。声调错误越多，分数越低。这个设计简洁但有效，避免了人工标注的成本和主观性。
发现三：多项技术协同才能解决声调评估问题
PASQA并非单一技术的简单应用，而是多项创新技术的有机组合：音拍条件融合（Mora-conditioned Fusion）让模型在日语的基本韵律单位上感知声调信息；排序损失（Ranking Loss）让模型学会相对排序而非绝对打分；辅助声调错误定位任务（Auxiliary Accent-Error Localization Task）迫使模型对声调信息进行更精细的内部编码；说话人不变训练（Speaker-invariant Training）确保模型评估的是声调质量而非说话人身份。消融实验（Ablation Study）表明，四项技术缺一不可，移除任何一项都会导致性能下降，共同构成了PASQA的技术栈。
发现四：泛化能力经得起检验
PASQA在训练时未见过的说话人（unseen speakers）上同样表现优异，声调错误排序准确率与见过的说话人几乎持平。这说明PASQA学到的不是"某个人的声调模式"，而是"什么是正确的日语声调"这一通用知识。对于任何需要部署到多样化用户群体的评估系统来说，这种泛化能力是至关重要的。如果一个模型只能评估训练时见过的说话人的语音，那它的实际应用价值将大打折扣——毕竟在真实场景中，你无法预知用户会用什么样的声音来说话。
技术方法详解
整体架构：从"听整体"到"听细节"
如果把传统的MOS预测模型比作一个只看"整体印象"的速读评测员，那PASQA就是一个逐字逐句审校的校对编辑。两者的工作方式有本质区别。
传统MOS模型的工作流程是：输入一段语音→提取整体特征→输出一个"自然度"分数。这个过程就像是把整幅画缩小成一个缩略图，然后给这个缩略图打分。很多细节信息在压缩过程中丢失了。
PASQA的架构则保留了细粒度的信息流。它首先利用自监督学习（Self-supervised Learning）提取的语音表示作为输入。自监督语音表示（如wav2vec 2.0、HuBERT等模型在海量无标注语音上预训练得到的表示）之所以被选用，是因为它们在预训练过程中已经学会了语音信号中的丰富结构信息，包括音高变化、音素边界、韵律模式等。这些预训练表示就像是给模型提供了一副"高分辨率眼镜"，让它能看到语音信号中细微的声调变化。
声调可控合成：自己造数据的秘诀
PASQA的训练数据生成流程堪称本文最具创意的部分。想象一下，你想教一个学生分辨不同画家的风格，但你手上只有几十幅真迹，而且每幅画的风格差异很微妙。怎么办？你可以用AI生成技术，把同一幅画"翻译"成不同画家的风格——毕加索风格的蒙娜丽莎、梵高风格的星空。这样，学生就有了大量对比鲜明的学习素材。
PASQA的做法与此类似。研究者使用一个声调可控的TTS系统，能够精确地指定每个词的声调模式。具体操作步骤如下：
- 选择基础文本：取日语语料库中的文本句子，确保句子包含足够的声调对比信息。
- 生成正确声调版本：用TTS系统以正确的声调模式合成语音，这是"参考答案"。
- 系统性地生成错误声调版本：改变文本中某些词的声调模式——比如把头高型改成尾高型，或平板型改成头高型——然后用TTS系统重新合成。通过控制改变的词的数量，可以制造不同严重程度的声调错误版本。
- 计算声调错误率：统计每条语音中有多少比例的词存在声调错误，以此作为声调质量的代理指标。
这个方法的精妙之处在于，除了声调模式不同，同一句话的正确版本和错误版本在其他方面几乎完全一致——同一个说话人、同样的语速、同样的情感、同样的音质。这意味着模型在训练时，如果它给出的分数与声调错误率相关，那它必然是在关注声调这个维度，而不是被其他混淆因素所干扰。
这就像是在化学实验中做对照组实验。你只改变一个变量（声调正确与否），其他所有条件保持恒定，然后观察模型的反应。如果模型对实验组和对照组给出了不同的分数，你就能确信模型确实在学习声调相关的特征。
音拍条件融合：匹配日语的韵律DNA
日语和英语在韵律结构上有根本差异。英语以音节为基本单位，重音通常落在整个音节上，表现为音量增大、时长延长、音高升高等综合变化。而日语以音拍（mora）为基本单位，声调变化主要体现在音拍之间的音高高低变化。
什么是音拍？举个例子：日语的"東京"（Tokyo）在日语中写作"とうきょう"，包含4个音拍：to-u-kyo-u。每个音拍在时间上大致等长，声调的高低变化发生在音拍之间。如果把这个词的声调模式从"低-高-低-低"改成"低-高-高-高"，听起来就会有明显的区别。
PASQA在模型架构中引入了音拍条件融合机制。具体来说，模型在处理语音特征时，不是在整个句子层面做平均池化（average pooling），而是在音拍级别上进行特征融合。模型首先识别每个音拍在语音信号中的边界位置，然后在每个音拍位置上提取对应的声学特征。这些音拍级别的特征随后与文本侧的音拍信息进行对齐和融合。这样，模型就能精确地知道"第5个音拍的音高偏高了"或"第12个音拍的声调模式与预期不符"。
这就像是把一条流水线上的产品逐个检查，而不是把一整箱产品倒出来看个大概。逐个检查能发现每个产品的具体缺陷，而整箱检查只能告诉你"这批产品大概怎么样"。
排序损失：从"打绝对分"到"排相对序"
传统的语音质量评估通常使用均方误差（MSE）或平均绝对误差（MAE）作为损失函数，模型被训练去预测一个绝对的分数值。但PASQA采用了排序损失（Ranking Loss），其核心思想是：模型不需要精确预测每条语音的绝对分数是多少，只需要正确判断"哪条语音的声调质量更好"。
这就像体育比赛中的排名。你不需要知道每个运动员的具体成绩是多少秒，只需要知道A比B快、B比C快就行了。排序损失的优势在于它对标注中的噪声更加鲁棒——即使"伪声调质量分"不够精确，只要错误率高=分数低这个单调关系成立，排序损失就能正常工作。
在数学上，排序损失使用hinge loss的形式：如果模型认为"错误率高的语音"比"错误率低的语音"得分更高，就会产生惩罚。模型被鼓励让正确声调的语音排在错误声调之前。
辅助声调错误定位任务：一箭双雕的多任务学习
PASQA除了主任务（预测声调质量分数）外，还训练了一个辅助任务：声调错误定位（Accent-Error Localization）。这个任务要求模型对每个音拍输出一个"是否出错"的概率。
这个设计借鉴了多任务学习的思想。直觉上，如果你要判断一道菜好不好吃（主任务），同时还要你指出具体哪个调料放错了（辅助任务），那你对菜品质量的理解会比只做前一个任务时更加深入和细致。辅助任务迫使模型在内部表示中编码更丰富的声调信息，这些信息反过来又帮助了主任务的性能提升。
而且，声调错误定位能力本身就是一项极具实用价值的功能。TTS开发者在调试声调系统时，如果模型不仅能告诉他"这段语音的声调质量不高"，还能精确指出"第3个词和第7个词的声调有问题"，调试效率将大大提升。这就像是一个体检报告，不仅告诉你"身体不太健康"，还能精确指出"血压偏高、血糖正常、胆固醇略超标"。
说话人不变训练：不以音色论好坏
一个理想的声调评估模型应该只关注声调是否正确，而不应该因为说话人的音色不同而产生偏见。但在实际训练中，模型可能会走捷径——比如它可能学到"男性的声音通常得分较低"或"某个人的声音听起来总是很自然"这样的虚假相关性。
说话人不变训练通过在训练过程中引入说话人对抗性损失来解决这个问题。主任务希望模型的表示能区分声调好坏，而对抗性分支则希望从模型的表示中无法推断出说话人是谁。两个目标相互博弈，最终模型学到的表示既包含丰富的声调信息，又对说话人身份不敏感。这种对抗训练的思想来源于域适应（Domain Adaptation）领域的经典工作，在PASQA中被巧妙地迁移到了语音质量评估的场景。
实验结果分析
传统模型的"失明"实验
研究者首先在合成的声调错误数据集上测试了多个现有的MOS预测模型。结果令人震惊：这些模型在面对不同严重程度的声调错误时，给出的MOS分数几乎是一条水平线。当声调错误率从0%逐步上升到较高水平时，传统模型的预测分数变化幅度极小，远达不到统计显著性。在排序准确性上，这些模型的表现接近甚至低于随机猜测的水平。
这意味着，如果你是一个TTS开发者，只依赖这些传统MOS模型来评估你的系统，你可能会得出"声调质量没问题"的错误结论。
PASQA的排序准确性
PASQA在排序准确性上取得了显著优势。对于训练时见过的说话人，模型能够以很高的准确率对不同声调错误严重程度的语音进行正确排序。更重要的是，对于训练时从未见过的说话人，排序准确率仅有轻微下降，证明了模型的泛化能力。
与人类判断的一致性
最具说服力的评估指标是与人类评估者的一致性。研究者让人类评估者对一系列语音的声调正确性进行判断，然后将人类的判断与PASQA的预测进行对比。结果显示，PASQA与人类评估者的相关性显著高于传统MOS模型。这才是评估一个语音质量模型是否真正有用的最终标准——与人类主观判断的一致性。
与现有工作对比
在语音质量评估领域，现有工作大致可以分为以下几个阵营：
通用MOS预测模型：如DNSMOS、UTMOS等。这些模型擅长评估语音的整体自然度和清晰度，但如本文所证明的，它们对声调重音错误不敏感。它们的设计哲学是"大而全"，试图用一个分数概括语音的所有质量维度，结果就是在声调这个特定维度上力不从心。
韵律评估模型：一些研究者尝试专门评估语音的韵律质量，但这些工作主要关注的是语调（intonation）和节奏（rhythm）等宏观韵律特征，而非声调重音这种微观层面的词级声调模式。韵律评估和声调评估虽然有关联，但关注的粒度完全不同。
声调检测模型：也有一些工作专注于检测语音中的声调模式，但这些模型只做分类（对/错），不做评分。PASQA则同时给出了质量分数和错误定位，功能更加全面。
PASQA的独特贡献在于：它是第一个明确针对日语声调重音正确性进行质量评估的端到端模型，并且通过合成数据训练的方式巧妙绕过了数据稀缺的瓶颈。这种"用可控合成数据训练精细评估模型"的范式，在语音评估领域是一个值得推广的新思路。
潜在应用与影响
TTS系统开发与优化：最直接的应用场景。TTS开发者可以将PASQA作为评估工具，在模型迭代过程中监控声调质量的变化，就像给TTS系统加上了一个专门的"声调体检仪"。
日语学习辅助工具的质量把关：面向日语学习者的语音应用可以集成PASQA来评估TTS语音的声调准确性，确保学习者听到的是正确的发音示范。
语音合成数据的自动筛选：在大规模合成语音数据的生产流程中，PASQA可以充当自动化的质量筛选器，过滤掉声调不达标的语音。
方法论的可推广性：虽然PASQA目前专注于日语声调，但其"用可控合成数据训练精细评估模型"的方法论可以推广到其他语言和评估维度。未来可以构建专门评估英语重音位置或中文声调准确性的模型。
推动语音评估从"粗评"走向"细评"：PASQA标志着语音质量评估正在从"一个分数概括一切"的粗粒度范式，向"每个维度独立评估"的细粒度范式演进。未来我们可能会看到一系列专注于不同维度的评估模型——声调评估、节奏评估、情感评估、清晰度评估——它们各自独立又可以组合使用，为语音系统提供全方位的质量画像。
局限性与未来方向
日语特异性：PASQA目前完全针对日语声调重音设计。日语的声调系统（高低型）与英语的重音系统（强弱型）、中文的声调系统（旋律型）有本质不同。直接迁移到其他语言需要重新设计。
合成数据与真实数据的域差距：虽然现代TTS系统的语音质量已经很高，但合成语音和真实人类语音之间仍然存在差异。模型在合成数据上学到的模式能否完美泛化到真实语音，还需要进一步验证。
评估维度的单一性：PASQA专注于声调重音一个维度。语音质量是多维概念，未来需要覆盖发音清晰度、语调自然度、节奏流畅度、停顿合理性等多个维度的综合评估体系。
声调错误分类的粗糙性：目前用声调错误率作为代理指标，不区分不同类型的声调错误的严重程度差异。未来可以引入更细粒度的错误分类和加权评分。
扩展到更多语言和场景：最有价值的未来方向是将PASQA的方法论推广到其他声调语言（如中文、韩语、越南语）和重音语言（如英语、德语），以及将评估场景从朗读语音扩展到对话式语音。
总结
PASQA为语音质量评估领域填补了一个重要空白。它揭示了现有MOS预测模型对声调重音错误的"失明"问题，并提出了一套系统的解决方案：用声调可控的TTS系统生成带有可控声调错误的合成数据，结合音拍条件融合、排序损失、辅助错误定位和说话人不变训练等多项技术，构建了一个专门评估日语声调重音质量的模型。
这项工作的核心价值不仅在于PASQA这个具体的模型，更在于它提出的"合成数据驱动的精细评估"范式。在语音合成技术日新月异的今天，我们的评估工具也需要与时俱进——不能只停留在"听起来像不像人"的层面，还要深入到"声调读得对不对"这样的细节层面。PASQA正是朝这个方向迈出的重要一步。
论文已被INTERSPEECH 2026接收，代码已在GitHub开源。对于从事日语TTS开发、语音质量评估研究、或者对语音韵律感兴趣的读者来说，这是一篇值得仔细研读的工作。
评论