PASQA：聚焦音高重音的语音质量评估模型——用合成语音训练出"重音听诊器"

Q: 为什么需要专门的重音质量评估？

>为什么需要专门的重音质量评估？一些TTS系统在架构中显式包含了重音预测模块，可以直接评估该模块的准确率。例如，一些基于NANSY-TTS的系统允许开发者显式地指定每个重音短语的重音核位置，然后直接检查这些位置是否正确。但越来越多的现代TTS架构（如CosyVoice、F5-TTS等）将重音相关表示作为"黑盒"处理——重音模式被隐式地编码在模型的潜在表示中，评估时无法获取内部的重音标签或中间韵律预测。 这就带来了一个实际问题：如果你有一个黑盒TTS系统，你如何知道它的重音质量好不好？你不能打开模型看内部参数，也不能要求模型输出重音标签。你唯一能做的就是听它的输出。 因此，一

TL;DR

一句话概括： LY Corporation团队打造了一个"重音听诊器"PASQA，能精准检测日语语音合成中的音高重音错误——传统MOS模型对此几乎"失聪"，而PASQA的排序准确率达到78.5%，与人类判断的Spearman相关系数高达0.828。

关键数字：

在未见说话人上排序准确率 78.5%（传统MOS模型仅约12-17%）
与人类评分的SRCC达 0.828，Kendall's τ达 0.614
训练数据集规模：213万条语音样本，总计2898小时
在域外GPT-4o-mini-TTS上配对准确率 78%（p < 0.001）

论文信息

项目	内容
论文标题	PASQA: Pitch-Accent-Focused Speech Quality Assessment Model Trained on Synthetic Speech with Accent Errors
作者	Masaya Kawamura, Yuma Shirahata, Kentaro Mitsui, Reo Shimizu
机构	LY Corporation（日本）
发表日期	2026年6月18日
论文编号	arXiv:2606.20137v1
领域	语音处理 (eess.AS), 计算语言学 (cs.CL), 机器学习 (cs.LG), 声音 (cs.SD)
代码	https://github.com/lycorp-jp/PASQA

研究背景与动机

语音合成质量评估的"盲区"

近年来，深度神经网络驱动的文本转语音（TTS）系统取得了令人瞩目的进步。从NaturalSpeech3到VALL-E再到F5-TTS，合成语音的自然度已经达到了以假乱真的水平。在许多场景下，普通人已经难以区分合成语音和真人录音。这些系统能够生成高度逼真的语音，模拟各种说话人的音色、语速和情感，为无障碍技术、有声读物、智能助手等领域带来了革命性的变化。

然而，如何准确评估这些系统生成语音的质量，一直是业界难题。语音质量评估是语音技术发展中不可或缺的一环——没有可靠的评估手段，开发者就无法知道他们的系统到底"好在哪里"、"差在哪里"，也无法有针对性地进行优化。

传统的评估方法依赖"平均意见分"（Mean Opinion Score, MOS）——请一群人类听音员对语音样本打分，然后取平均值。通常采用1-5分的量表，1分代表"非常差"，5分代表"非常好"。这种方式虽然准确，但代价高昂、耗时费力。一次MOS评估实验可能需要招募数十名听音员，每人听数百个样本，整个过程可能耗时数天甚至数周，成本可达数千甚至数万美元。

于是，研究人员开发了各种MOS预测模型，如DNSMOS、UTMOS、NISQA等，试图用机器自动评估语音质量。这些模型能够在几秒钟内完成对一段语音的质量评估，极大地提高了评估效率。它们通常在大规模的主观评分数据上训练，能够较好地预测整体自然度。

但这里存在一个关键盲区。 现有的MOS预测模型主要关注"整体自然度"——即语音听起来是否流畅、清晰、没有明显的合成痕迹。它们擅长检测信号层面的退化，如噪声、混响、削波失真等。然而，语音的自然度不仅仅取决于信号层面的质量，还高度依赖于语言特有的韵律线索。这些韵律线索包括语调、重音、节奏、停顿等，它们承载着词汇和语法信息，对语言的理解至关重要。

日语音高重音：一字之差，意义全变

在日语中，"音高重音"（pitch accent）是一种至关重要的韵律特征。与英语中通过加重某个音节来表示重音不同，日语的音高重音通过音高（pitch）的升降模式来区分词义。同一个词，重音位置不同，含义可能截然不同。

日语的音高重音系统可以用几个基本类型来描述。最经典的例子是"はし"（hashi）：

头高型（平板型，重音在第一个音拍，之后音高下降）→ 箸（筷子）
平板型（无重音下降，音高保持平坦或略微上升）→ 橋（桥）
中高型（重音在中间音拍，之后音高下降）→ 端（边缘）

这三个词的音节序列完全相同，唯一的区别就是音高重音的位置。对日语母语者来说，音高重音是区分这些同音词的关键线索，就像中文的四声区分"妈、麻、马、骂"一样自然和必要。

再举几个例子来说明日语音高重音的重要性：

"あめ"（ame）：头高型→雨（下雨），平板型→饴（糖果）
"きもの"（kimono）：头高型→着物（和服），1型→木物（木制品，虽然这个词不常用）
"おとこ"（otoko）：2型→男（男人），头高型则可能被听成其他意思

想象一下，如果一个TTS系统把"桥"说成了"筷子"，把"糖果"说成了"雨"，对于日语使用者来说，这不仅不自然，甚至会改变语义，导致严重的理解错误。日语中的音高重音就像中文里的声调——把"妈"说成"马"，意思就完全不同了。

然而，现有的MOS预测模型对这种局部的音高重音错误几乎"失聪"。论文的实验结果清楚地展示了这一点：在评估带有不同严重程度重音错误的语音时，DNSMOS、UTMOS等主流模型的排序准确率仅为12-20%，与随机猜测（约33%）相差无几，甚至出现负相关——也就是说，这些模型给出的分数越高，语音的重音质量反而越差。

这个发现令人震惊。它意味着，当前主流的语音质量评估工具对日语语音中最关键的韵律特征之一完全不敏感。这就像一台X光机能清晰地显示骨骼结构，却完全看不见软组织的病变一样——你需要不同的成像方式来检测不同的问题。

为什么需要专门的重音质量评估？

一些TTS系统在架构中显式包含了重音预测模块，可以直接评估该模块的准确率。例如，一些基于NANSY-TTS的系统允许开发者显式地指定每个重音短语的重音核位置，然后直接检查这些位置是否正确。但越来越多的现代TTS架构（如CosyVoice、F5-TTS等）将重音相关表示作为"黑盒"处理——重音模式被隐式地编码在模型的潜在表示中，评估时无法获取内部的重音标签或中间韵律预测。

这就带来了一个实际问题：如果你有一个黑盒TTS系统，你如何知道它的重音质量好不好？你不能打开模型看内部参数，也不能要求模型输出重音标签。你唯一能做的就是听它的输出。

因此，一个能够在纯语音信号层面直接评估音高重音正确性的模型，具有广泛的适用价值。它就像一个"重音听诊器"——不需要侵入性地检查系统的内部，只需要"听一听"它的输出，就能判断重音质量。这就是PASQA诞生的动机——填补传统MOS评估模型在音高重音敏感性上的空白。

语音质量评估的历史演进

语音质量评估的发展历程可以追溯到电话通信时代。早在20世纪初，工程师们就需要评估电话线路的语音质量。最初的评估完全依赖主观判断——让一群人打电话，然后评价"听起来好不好"。这种方法虽然直观，但缺乏标准化和可重复性。

随着数字通信的发展，国际电信联盟（ITU）制定了标准化的评估方法，其中最著名的就是MOS评估。MOS采用5级量表，由经过训练的听音员在标准化环境中进行评估。这种方法虽然权威，但成本极高——一次标准的MOS实验可能需要数十名听音员，花费数千美元，耗时数天。

进入深度学习时代后，自动化MOS预测成为研究热点。DNMOS（Deep Noise Suppression MOS）系列模型是其中的代表作，由微软在DNS挑战赛中推出。这些模型通过在大规模MOS数据上训练，能够快速预测语音的整体自然度。UTMOS和NISQA等模型进一步推动了这一领域的发展。

然而，所有这些模型都有一个共同的假设：语音质量可以用一个单一的分数来表示。这个假设在评估整体自然度时是合理的，但在评估特定维度的语音质量（如韵律正确性、发音准确性、重音质量等）时就显得力不从心。PASQA的出现，正是对这一假设的挑战——它证明了针对特定维度的专门评估模型，在该维度上能够远超通用模型。

日语音高重音的语言学背景

日语的音高重音系统是语言学研究的经典课题之一。与英语等重音语言不同，日语不是通过加重某个音节来表示重音，而是通过音高模式（pitch pattern）来区分词义。这种音高重音被称为"乐调重音"（pitch accent），与英语的"力调重音"（stress accent）形成对比。

东京方言（标准日语的基础）的音高重音系统可以用两个基本特征来描述：音高核位置和平板/起伏型。每个重音短语（accent phrase）有一个音高核（accent nucleus），即音高开始下降的位置。如果音高核不存在（即音高不下降），则称为"平板型"（0型）；如果音高核在第k个音拍，则称为"k型"。

这个系统虽然在理论上简单，但在实际应用中非常复杂。同一个词可能因为方言、语速、情感等因素而有不同的重音实现。而且，日语中存在大量的重音最小对立对（accent minimal pairs），即只有重音位置不同但其他方面完全相同的词对。这些对立对的正确发音对于有效的日语交流至关重要。

近年来，随着TTS技术的发展，日语重音的自动生成成为一个重要课题。早期的TTS系统通过规则或统计模型来预测重音位置，但这些方法的准确率有限。现代的端到端TTS系统虽然能够隐式地学习重音模式，但它们的重音质量往往不均匀——在某些情况下表现很好，在另一些情况下可能出现严重错误。

PASQA的价值在于，它为评估这些系统的重音质量提供了一个客观、自动化、可重复的工具，这对于推动日语TTS技术的进步具有重要意义。

评估需求的紧迫性

随着日语TTS技术的商业化应用日益广泛——从智能客服到导航播报，从有声书到虚拟主播——对重音质量的评估需求变得越来越迫切。一个重音不正确的TTS系统可能会：

导致听众误解词汇含义，影响信息传达
降低用户体验，让语音听起来"不地道"
在专业场景（如新闻播报、语言教学）中造成严重问题

PASQA的出现，为这些场景提供了一个自动化的、可靠的重音质量评估工具。

核心发现

发现一：传统MOS模型对重音错误"失聪"

论文最令人惊讶的发现是：所有公开可用的MOS预测模型都无法检测到音高重音错误。 在精心构建的重音错误数据集上，这些模型的表现几乎等同于随机猜测：

模型	已见说话人排序准确率	未见说话人排序准确率
DNSMOS P.835	20.0%	12.1%
DNSMOS P.808	16.7%	17.0%
UTMOS	13.3%	12.1%
UTMOSv2	16.2%	13.4%
NISQA	15.6%	19.5%
SHEET SSL-MOS	13.9%	17.4%
随机猜测	33.3%	33.3%

注意，这些模型的排序准确率甚至低于随机猜测！这意味着它们不仅不能检测重音错误，甚至在某种程度上被重音错误"误导"了。更令人担忧的是，这些模型的相关性指标（LCC、SRCC、KTAU）也接近零甚至为负值。这意味着，对于日语TTS系统来说，用这些通用MOS模型来评估音高重音质量不仅无效，而且可能产生误导性的结论。

为什么会出现这种情况？原因在于这些模型的训练目标。它们被训练来预测"整体自然度"，而整体自然度主要由信号质量（清晰度、噪声水平、合成伪影等）决定。音高重音错误虽然是严重的语言学问题，但在信号层面可能只表现为音高曲线的微小变化，这种变化不足以显著影响整体自然度评分。这就像一个只关注"音量是否正常"的测试设备，无法检测出"歌词是否唱错"的问题。

发现二：自监督特征远优于传统声学特征

在训练重音质量评估模型时，特征表示的选择至关重要。论文比较了两种特征：

WORLD声学特征（传统的基频、梅尔倒谱等27维特征）：排序准确率仅34.6%（未见说话人）
wav2vec 2.0自监督特征（数据驱动的高维表示）：排序准确率71.0%（未见说话人）

这个差距（34.6% vs 71.0%）是巨大的。WORLD特征是人工设计的声学参数，主要捕捉物理声学属性（如基频F0、频谱包络、非周期性等）。虽然这些参数包含了音高信息，但它们的表示能力有限，难以捕捉重音模式中更微妙的上下文依赖关系。

wav2vec 2.0则不同。它通过在大量语音数据上的自监督预训练，学会了从原始波形中提取丰富的、上下文敏感的声学表示。这些表示不仅包含底层声学信息，还编码了更高层的韵律结构——包括音高模式、节奏变化、重音位置等。这就像一个经验丰富的音乐家能听出演奏中的细微瑕疵，而一个只关注音量和节奏的节拍器则完全无能为力。

发现三：PASQA的四项技术创新缺一不可

论文通过详尽的消融实验验证了每个组件的贡献：

模型变体	未见说话人排序准确率	未见说话人SRCC
完整PASQA	78.5%	0.751
去除Bradley-Terry排序损失	78.7%	0.742
去除帧级错误检测头	74.7%	0.720
去除梯度反转层(GRL)	74.5%	0.712
去除音拍条件融合	73.5%	0.721

消融分析显示，每个组件都有不可替代的作用：

音拍条件融合（去除后下降5.0%）：提供了语言学先验知识，让模型知道"每个音拍应该是什么"
梯度反转层（去除后下降4.0%）：消除说话人特异性偏见，确保模型关注重音错误而非说话人差异
帧级错误检测头（去除后下降3.8%）：提供局部监督信号，帮助模型定位错误
排序损失（去除后对SRCC有影响）：确保模型学会正确的相对排序

有趣的是，在排序准确率指标上，去除排序损失后变化不大（78.7% vs 78.5%），但在SRCC指标上有所下降。这说明排序损失和L1损失在优化目标上有互补性——L1损失优化绝对分数准确性，排序损失优化相对排序正确性。

发现四：在域外TTS系统上保持鲁棒性

PASQA不仅在训练数据范围内表现优异，还展示了对域外（Out-of-Domain, OOD）TTS系统的泛化能力。研究人员使用GPT-4o-mini-TTS生成语音，比较了不同输入方式（文字vs音拍序列）对重音质量的影响：

PASQA配对准确率：78%（p < 0.001，统计显著）
ACC-SSL-MOS：72%（p = 0.001）
DNSMOS P.835：38%（p = 0.968，不显著）
UTMOS：26%（p = 0.999，不显著）
人类评分者：98.4%（p < 0.001）

这个实验设计非常巧妙。研究人员发现，GPT-4o-mini-TTS在接收文字（grapheme）输入时产生的重音质量，优于接收音拍序列（mora sequence）输入时的质量。这本身就是一个有趣的发现——输入格式会影响TTS系统的重音输出质量。

在所有测试的模型中，只有PASQA和ACC-SSL-MOS达到了统计显著性，而所有其他模型都无法可靠地区分这两种条件。这意味着即使面对从未见过的TTS系统架构，PASQA仍然能够可靠地区分重音质量的高低。

发现五：与人类判断高度一致

在15名日语母语者的听音测试中（120个样本，4个说话人），PASQA展现了与人类评分最强的一致性：

指标	PASQA	ACC-SSL-MOS	DNSMOS P.835
排序准确率	85.0%	90.0%	17.5%
SRCC	0.828	0.764	-0.074
KTAU	0.614	0.541	-0.053
MSE	1.293	1.272	0.811

人类评分者之间的一致性（排序准确率）为92.5%。PASQA的排序准确率为85.0%，已经非常接近这个"天花板"。而在与人类评分的相关性指标上（SRCC、KTAU），PASQA是所有模型中最高的。

有趣的是，ACC-SSL-MOS的排序准确率（90.0%）高于PASQA（85.0%），但PASQA在SRCC和KTAU上更强。这说明ACC-SSL-MOS在极端情况下的排序更准确，但PASQA在整个分数范围内的相关性更好——后者的评估结果与人类评分的整体一致性更高。

MSE指标上，传统MOS模型反而更好。这是因为PASQA使用的是伪重音质量分数（由错误率计算得出），其动态范围和标度与人类评分可能存在偏差。但论文强调，本研究的主要目标不是绝对分数的标定，而是相对排序的正确性和对局部重音错误的敏感性。

技术方法详解

整体架构：一个"多管齐下"的质量评估系统

可以把PASQA想象成一个经验丰富的日语语音质检员。这个质检员不仅有灵敏的耳朵（自监督声学特征），还拿着一份文字稿（音拍序列），同时配备了放大镜（帧级错误检测头）和防偏见的训练（说话人不变学习）。

模型的输入有两路：

声学通道：原始语音波形 → wav2vec 2.0提取帧级声学特征（每帧约10ms）
语言通道：文本 → 音拍序列 → 词嵌入（256维）→ Transformer编码器（1层，4头）→ 交叉注意力融合

这两路信息通过交叉注意力机制（cross-attention）融合，生成"音拍条件化的声学表示"——即每个声学帧都"知道"它对应的音拍是什么。这种融合方式让模型能够将声学信号中的音高变化与语言学上的重音位置进行对比，从而检测重音错误。

输出端有三个头：

主头：重音质量分数预测（2层MLP，隐藏维度64，tanh激活映射到[1,5]区间）
辅助头1：帧级错误检测（预测每个帧是否属于重音错误区域）
辅助头2：说话人分类（通过GRL连接，用于对抗学习）

创新一：可控TTS构建大规模重音错误数据集

这是整个工作的基石，也是最具创新性的部分之一。

训练一个重音质量评估模型面临一个根本性的挑战：没有现成的重音错误标注数据。 真实世界的语音数据很少附带"这里重音错了"的标注。人工标注重音错误不仅成本高昂，而且主观性强——不同的人对同一段语音的重音判断可能不一致。

研究人员巧妙地绕过了这个难题：使用NANSY-TTS（一个支持音高重音显式控制的TTS系统）来系统性地生成带有精确控制重音错误的语音数据。这种方法就像是"故意在面包里掺沙子"——你知道沙子在哪里、有多少，然后训练一个模型来检测它们。

构建流程如下：

文本分析：使用MeCab形态分析器将文本分割为音拍（mora）。日语的音拍是一个比音节更小的单位，例如"きょう"（今天）包含"きょ"和"う"两个音拍。
韵律预测：用DNN韵律标签预测模型获取初始韵律标注。这个模型在80,061条人工标注的韵律标签上训练，能够预测每个重音短语的三个属性：
- 音拍序列（mora sequence）
- 重音短语边界（accent phrase boundaries，用"/"标记）
- 重音核位置（accent nucleus，用"*"标记，表示音高开始下降的位置）
重音核篡改：对于目标错误率r，从P个重音短语中均匀采样约max(1, ⌊rP⌋)个短语，将它们的重音核位置随机替换为其他合法位置。对于长度为L的短语，合法的重音类型为{0, 1, ..., L-1}，其中0表示平板型（无下降），k表示第k个音拍之后音高下降。替换时排除原始位置，确保是真正的"错误"。
语音合成：使用篡改后的韵律标注合成语音。TTS系统忠实地按照修改后的重音核位置生成语音，确保重音错误被真实地"植入"到语音信号中。
分数计算：伪重音质量分 = 5.0 - 4.0 × (被篡改的音拍数 / 总音拍数)。这是一个单调映射——错误越多，分数越低。

三个严重程度级别：

无错误（r=0）：质量分 = 5.0，代表完美的重音
低严重度（r∈[0.1, 0.2]）：质量分 ≈ 3.2-4.0，代表少量重音错误
高严重度（r∈[0.8, 0.9]）：质量分 ≈ 1.4-1.8，代表大量重音错误

这种"故意犯错"的策略特别巧妙——就像医学研究中用已知病变的样本来训练诊断AI，研究人员用已知重音错误的语音来训练质量评估模型。由于每个样本的错误位置和程度都是精确已知的，训练信号极其清晰。

最终生成的数据集规模惊人：213万条语音样本，2898小时，来自13个说话人。每条文本生成3个版本（无错误、低严重度、高严重度），共91,157条文本 × 3 × 13说话人 = 213万+条样本。其中80%用于训练，20%用于验证。

创新二：Bradley-Terry排序损失

传统的MOS预测使用L1或MSE回归损失，即最小化预测分数与目标分数之间的绝对误差。但PASQA的核心需求不是精确预测绝对分数，而是正确排序——确保"无错误 > 低严重度 > 高严重度"。

Bradley-Terry模型（源自统计学中的配对比较理论）正是为此设计的。它将排序问题转化为配对概率问题：

P(i > j) = σ(ŷᵢ - ŷⱼ)

其中σ是sigmoid函数，ŷᵢ和ŷⱼ是两个样本的预测分数。当预测分数的差值越大时，sigmoid输出越接近1，表示模型越确定i优于j。

损失函数为： L_BT = -Σ_{i,j: yᵢ > yⱼ} log P(i > j)

对所有满足yᵢ > yⱼ的配对(i,j)求和。在一个mini-batch中，如果有B个样本，就能产生B(B-1)/2个配对。在B=16的情况下，每步训练产生120个排序约束。

这就像让模型不断做"哪个重音更好"的比较题，而不是"这个重音多少分"的填空题。比较题更容易回答——你不需要知道绝对分数是多少，只需要判断"A比B好"还是"B比A好"。

创新三：帧级重音错误检测辅助任务

仅靠句子级的排序损失，模型可能不知道"错误发生在哪里"。帧级错误检测头就像一个放大镜，要求模型对每个声学帧（约10ms）判断它是否属于被篡改的重音短语。

这是一个二分类任务：lₜ ∈ {0, 1}，其中lₜ=1表示第t帧属于重音核被修改的短语，lₜ=0表示正常。帧级标签通过TTS模型的音素级时长预测器进行对齐获得——将句子级的重音短语标注映射到帧级。

辅助损失使用二元交叉熵： L_frame = -Σₜ [lₜ log pₜ + (1-lₜ) log(1-pₜ)]

这个辅助任务有两个关键作用：

提供更细粒度的监督信号：句子级分数只能告诉模型"整体有多好"，而帧级标签告诉模型"具体哪里有问题"。这就像一个医生不仅要判断"病人是否健康"，还要知道"病变在哪个器官"。
引导模型关注韵律时间结构：帧级任务迫使模型对每个时间点做出判断，这有助于模型学习韵律的时间结构——重音错误通常发生在特定的时间位置。

虽然这个辅助头在推理时可以去掉（只用句子级分数），但在训练阶段它显著提升了主任务的性能。

创新四：说话人不变学习（梯度反转层）

一个容易被忽略的问题是：模型可能走"捷径"——不去学习重音错误本身，而是通过说话人的声音特征来"猜"分数。例如，如果某个说话人在训练集中的重音错误率系统性地高于另一个说话人，模型可能会学会"这个说话人的声音=更差的重音质量"，而不是真正学习重音错误的声学特征。

梯度反转层（Gradient Reversal Layer, GRL）通过对抗学习来解决这个问题。它的原理非常简洁：

正向传播：GRL是一个恒等函数，什么都不做
反向传播：GRL将梯度乘以一个负系数

这样，说话人分类器被训练去识别说话人（最小化分类损失），但主模型收到的反向梯度是"不要让说话人分类器好用"——这迫使主模型学习说话人不变的表示。如果主模型的表示中包含了说话人特异性信息，说话人分类器就能利用这些信息，但GRL会惩罚这种行为。

论文还使用了scheduled GRL策略：反转强度随训练进度逐渐增大。公式为ρ(p) = 4/(1+exp(-γp)) - 3，其中γ=10，p是归一化训练进度（当前步数/总步数）。在训练初期（p≈0），ρ≈-1，反转强度很小；在训练后期（p≈1），ρ≈1，反转强度最大。

这就像"温水煮青蛙"——模型先在温和的条件下学到有用的声学表示，然后逐渐被推向忽略说话人特征的方向。如果一开始就施加强反转，模型可能无法学到有意义的表示；而逐渐增加强度则让模型在保持有用信息的同时逐步去除说话人偏见。

模型架构细节总结

声学骨干：wav2vec 2.0 BASE模型，输出帧级特征向量（每帧约10ms）

音拍嵌入模块：

词嵌入维度：256维
位置编码：旋转位置编码（RoPE）
Transformer编码器：1层，4头注意力，FFN维度512，dropout 0.1
交叉注意力：256维注意力空间，4头，dropout 0.1

预测头：

重音质量头：2层MLP，隐藏维度64，tanh输出映射到[1,5]
帧级错误头：隐藏维度64，sigmoid输出
说话人分类器：隐藏维度128，dropout 0.1

训练配置：

学习率：1×10⁻³，SGD动量0.9
梯度裁剪：范数1.0
Batch大小：16
最大步数：100,000步
损失权重：λ_BT=1.5, λ_L1=0.5, λ_frame=0.2, λ_spk=0.1
GRL调度参数：γ=10
输入采样率：16 kHz

实验结果分析

实验设置

训练数据：213万条语音样本，来自13个说话人，总计2898小时。每条文本生成3个严重度版本。

测试数据：

已见说话人测试集：1,170个样本（来自训练集中的13个说话人）
未见说话人测试集：2,400个样本（来自4个未参与训练的说话人）

评估指标：

排序准确率（Order Accuracy）：三个严重度版本的预测分数是否满足"无错误 > 低严重度 > 高严重度"的严格排序
LCC（Pearson线性相关系数）
SRCC（Spearman等级相关系数）
KTAU（Kendall's τ）

客观评估结果详解

在已见说话人和未见说话人两个设置下，PASQA全面超越了所有对比模型。以下是未见说话人结果（最关键的泛化指标）：

模型	排序准确率	LCC	SRCC	KTAU
PASQA	78.5%	0.879	0.751	0.559
ACC-SSL-MOS	73.8%	0.818	0.724	0.530
ACC-WORLD-MOS	33.9%	0.040	0.040	0.028
DNSMOS P.835	12.1%	-0.073	-0.057	-0.040

几个关键观察：

PASQA vs ACC-SSL-MOS：PASQA比次优的ACC-SSL-MOS在排序准确率上高出4.7个百分点，在SRCC上高出2.7个百分点。这证明了PASQA的四项创新确实带来了实质性的提升。
ACC-SSL-MOS vs ACC-WORLD-MOS：自监督特征（73.8%）远优于传统声学特征（33.9%），差距达到40个百分点。这是特征表示能力的差距。
ACC-WORLD-MOS vs 随机猜测：ACC-WORLD-MOS（33.9%）勉强超过随机猜测（33.3%），说明传统声学特征几乎无法捕捉重音错误信息。
通用MOS模型的负相关：DNSMOS P.835的SRCC为-0.057，说明它的分数与重音质量负相关——重音越好，它给的分数反而越低（或反之）。这表明这些模型的评估维度与重音质量完全不相关。

主观评估结果详解

在15名日语母语者的听音测试中（120个样本，4个说话人，均为训练集中的说话人）：

人类评分者间一致性（排序准确率）：92.5%
PASQA排序准确率：85.0%，SRCC = 0.828，KTAU = 0.614
ACC-SSL-MOS排序准确率：90.0%，SRCC = 0.764，KTAU = 0.541

PASQA在SRCC和KTAU上最强，说明它与人类评分的整体一致性最高。而ACC-SSL-MOS在排序准确率上略高，可能是因为它在极端情况下（无错误vs高严重度）的区分能力更强，但在中等情况下（无错误vs低严重度）的区分不如PASQA。

域外评估结果详解

使用GPT-4o-mini-TTS的评估展示了PASQA的泛化能力。实验设计如下：

准备50条不与训练集重叠的文本
分别用文字输入和音拍序列输入合成语音（两种输入方式）
前期听音测试确认文字输入的重音质量更好
将文字输入样本标记为正例（更高质量），音拍序列输入标记为负例
计算各模型的配对准确率

模型	配对准确率	p值
人类评分者	98.4%	< 0.001
PASQA	78.0%	< 0.001
ACC-SSL-MOS	72.0%	0.001
NISQA	62.0%	0.060
UTMOSv2	58.0%	0.161
UTMOS	26.0%	0.999

只有PASQA和ACC-SSL-MOS达到了统计显著性（p < 0.05）。这个结果非常有说服力——它证明PASQA学到的不是"特定TTS系统的重音错误模式"，而是"音高重音正确性"这一更本质的、可泛化的特征。

与现有工作对比

通用MOS预测模型

DNSMOS、NISQA、UTMOS等模型是语音质量评估的"瑞士军刀"——它们关注整体自然度、清晰度、背景噪声等全局特征，但对局部韵律错误不敏感。这就像一个体检项目能检查出整体健康状况（血压、血糖、心率），但发现不了特定部位的细微病变（如视网膜微血管出血）。

PASQA则是"专科医生"——专门针对音高重音这一特定维度进行评估。两者互补而非替代。在实际应用中，一个完整的语音质量评估应该同时包含"整体自然度"和"韵律正确性"两个维度。

帧级质量预测

最近有研究（如Kuhlmann等人的工作）探索了合成语音的帧级质量预测，提高了可解释性和退化定位能力。但这些方法并未专门针对音高重音的正确性进行建模——它们的帧级质量分数反映的是信号层面的退化（如合成伪影、噪声），而非韵律层面的错误。PASQA通过专门构建的重音错误数据集和辅助帧级检测任务，填补了这一空白。

TTS内部重音评估

一些TTS系统（如基于NANSY-TTS的系统）包含显式的韵律标签预测模块，可以直接评估重音预测准确率。但这种方法有三个局限：

只适用于有显式韵律预测模块的TTS系统
评估的是"预测准确率"而非"输出质量"——预测准确率高不代表输出语音的重音一定好
无法评估端到端TTS系统（如CosyVoice、F5-TTS）

PASQA直接从语音信号评估重音质量，不受上述限制，具有更广泛的适用性。

PASQA的独特贡献

与上述所有工作相比，PASQA的独特之处在于：

首次专门针对音高重音正确性构建评估模型
首次使用可控TTS大规模构建重音错误训练数据
首次在域外TTS上验证了重音质量评估的泛化能力
首次证明通用MOS模型对重音错误"失聪"

潜在应用与影响

日语TTS系统开发与优化

这是最直接的应用场景。日语TTS开发者可以用PASQA作为自动化评估工具，快速迭代优化系统的重音质量，无需昂贵的人工听音测试。具体应用场景包括：

模型选择：在多个TTS模型中选择重音质量最好的
超参数调优：用PASQA分数作为优化目标，搜索最佳超参数
A/B测试：快速评估系统更新对重音质量的影响
回归测试：确保新版本不会降低重音质量

对于LY Corporation（前身是Yahoo Japan/Line的母公司）来说，这一工具在其日语产品生态中具有巨大的实用价值——从Line的语音消息到Yahoo Japan的新闻播报，都需要高质量的日语语音合成。

多语言韵律评估框架

虽然PASQA目前聚焦于日语，但其方法论具有语言普适性。音高重音在多种语言中都扮演重要角色：

瑞典语：音高重音区分词义（如"anden"可意为"鸭子"或"精神"）
挪威语：类似的双重重音系统
韩语：某些方言中重音模式影响词义
塞尔维亚-克罗地亚语：自由重音系统
中文：声调语言虽然机制不同，但类似的"可控合成+训练评估"框架可以扩展

将PASQA的框架迁移到其他语言，需要的主要资源是一个支持韵律控制的TTS系统和相应的文本分析工具。考虑到近年来多语言TTS系统的快速发展，这种迁移的可行性很高。

语音合成质量的细粒度诊断

PASQA的帧级错误检测能力为TTS系统提供了"X光透视"功能——不仅能告诉你"这个语音的重音有问题"，还能指出"问题出在第几秒的哪个重音短语"。这种细粒度的诊断能力对于系统调试和优化极为宝贵。

例如，开发者可以通过PASQA的帧级输出发现：

系统在哪些类型的重音短语上容易出错（长短语？短音拍？特定词汇？）
错误是系统性的（所有样本都有）还是偶发性的
错误与文本内容、说话人特征、语速等因素的相关性

语音教育与语言学习

对于学习日语的外国人，PASQA可以作为一个即时反馈工具，帮助学习者纠正重音错误。想象一个日语学习APP，它不仅能告诉你发音是否正确，还能精确指出哪个词的重音位置需要调整。

目前的日语学习APP大多关注声母、韵母的发音准确性，对重音的反馈非常粗糙（通常只有"听起来不太对"这样的模糊评价）。PASQA可以提供精确的、可操作的重音改进建议。

TTS系统的质量监控

在大规模TTS服务部署中，PASQA可以作为实时质量监控的一部分。当TTS系统输出的语音重音质量低于阈值时，系统可以自动触发告警或切换到备选模型。这对于对重音质量要求严格的场景（如新闻播报、语言教学、导航导航）特别有价值。

局限性与未来方向

当前局限

语言限制：目前仅针对日语设计和评估。日语的音高重音系统相对简单（核位置决定一切，只有位置的差异，没有重音强度的变化），对于更复杂的韵律系统（如声调语言、重音语言的混合形式），需要进一步扩展框架。
伪标签依赖：训练使用的是自动计算的伪重音质量分数，而非人工标注。虽然实验表明这种方法有效，但伪分数可能引入噪声——正如论文承认的，这导致预测分数的动态范围与人类评分不完全匹配（MSE指标不如传统MOS模型）。伪分数假设所有重音错误的严重程度相同（由错误率决定），但实际上，不同位置、不同类型的重音错误可能有不同程度的影响。
域外泛化仍有限：虽然在GPT-4o-mini-TTS上表现不错（78%准确率），但与域内的85%相比仍有7个百分点的差距。面对更多样化的TTS系统（特别是多说话人、多方言的系统），鲁棒性可能进一步下降。
单一严重度维度：当前模型只考虑重音错误的"量"（错误率），未区分不同类型的重音错误。例如，重音核偏移1个音拍和偏移2个音拍可能有不同的影响；平板型错误和头高型错误可能有不同的可感知度。未来可以引入更细粒度的错误分类。
训练数据偏见：虽然使用了GRL，但训练集仍基于特定TTS系统（NANSY-TTS），其合成的"重音错误"可能不完全代表真实世界中的重音错误模式。真实的重音错误可能是渐进的、模糊的，而非像合成数据中那样明确和极端。
评估范围有限：主观评估只涉及15名听音员和120个样本，规模较小。更大规模的人类评估可能揭示PASQA的更多优势或不足。

未来方向

论文作者提出了两个主要的未来方向：

提升域外鲁棒性：通过更大规模、更多样化的训练数据（来自多个TTS系统），以及更强的正则化技术（如数据增强、域随机化），提高模型对未见TTS系统的泛化能力。
多语言扩展：将框架扩展到其他语言的韵律质量评估，如韩语、瑞典语等音高重音语言，甚至声调语言如中文。对于声调语言，需要将"重音核位置"的概念替换为"声调正确性"的概念。

此外，可能的扩展方向还包括：

结合强化学习优化TTS：将PASQA作为奖励信号，通过强化学习优化TTS系统的重音生成质量。这种"评估驱动优化"的范式在图像生成领域已经被证明有效。
实时质量监控系统：开发低延迟版本的PASQA，用于在线语音合成服务的实时质量监控。当前的模型基于wav2vec 2.0，推理速度可能需要优化。
与语音识别集成：探索PASQA与语音识别系统的集成，实现端到端的韵律质量控制——从语音识别到重音评估再到语音合成的闭环。
细粒度错误类型分析：区分不同类型的重音错误（平板型vs头高型vs中高型），分析不同类型错误对可理解性的影响差异。

总结

PASQA是首个专门针对日语音高重音正确性进行评估的语音质量模型。面对传统MOS预测模型在重音错误检测上的全面失败（排序准确率约15%，接近随机甚至出现负相关），PASQA通过四项技术创新——可控TTS数据构建、Bradley-Terry排序学习、帧级辅助监督、说话人不变对抗训练——将排序准确率提升至78.5%，与人类判断的Spearman相关系数达到0.828。

这项工作的意义不仅在于解决了一个特定的技术问题，更在于揭示了一个被长期忽视的评估盲区：通用语音质量模型可能对语言特有的韵律错误完全"失聪"。 这个发现对整个语音质量评估领域都有重要启示——MOS分数并非万能，不同语言、不同维度的语音质量可能需要专门的评估工具。

PASQA的方法论——用可控合成数据训练专用评估模型——具有广泛的可复用性。这种"故意犯错，然后训练检测"的范式不仅适用于音高重音评估，也可以扩展到其他韵律维度（如语调、节奏、停顿）和其他语言。随着TTS技术在全球各种语言中的广泛应用，开发针对特定语言韵律特征的质量评估工具将变得越来越重要。

PASQA的代码已开源（https://github.com/lycorp-jp/PASQA），为后续研究和应用提供了便利。对于任何关注日语语音合成质量的研究者和开发者来说，PASQA都是一个值得关注和使用的工具。

从更宏观的角度看，PASQA代表了语音质量评估从"一刀切"走向"精细化"的趋势。未来的语音质量评估体系很可能不是一个万能的MOS模型，而是由多个专门模型组成的评估矩阵——每个模型负责一个特定的质量维度（自然度、清晰度、重音准确性、情感表达等），共同构成一个全面的语音质量画像。PASQA在这个评估矩阵中，占据着"韵律正确性"这一重要位置。