当仇恨与虚假信息交织：CATCH-ME数据集如何用RAG技术构建多语言多轮反击对话

TL;DR

CATCH-ME是首个大规模、专家标注的多语言多轮对话数据集，专门针对仇恨言论与虚假信息重叠场景中的反击话语（counterspeech）生成。该数据集覆盖5种语言、7个边缘化群体，对话内容锚定在经验证的外部知识源（事实核查文章和NGO报告）上，并提供文档级和段落级的标注，可直接用于RAG（检索增强生成）系统。这项研究填补了NLP领域中仇恨言论与虚假信息交叉处理的空白，为构建更有说服力、事实可追溯的反击话语模型奠定了数据基础。

论文信息

项目	内容
论文标题	CATCH-ME if you RAG: a dataset of Contextually Annotated multi-Turn Counterspeech against Hate and Misinformation Exchanges
作者	Helena Bonaldi, Genoveffa Martone, Marco Guerini
机构	研究团队来自NLP和计算社会科学领域
发表日期	2026年6月18日
arXiv ID	2606.20369v1
论文链接	https://arxiv.org/abs/2606.20369v1
研究领域	计算语言学（cs.CL）
关键词	反击话语、仇恨言论、虚假信息、RAG、多语言、多轮对话、数据集

研究背景与动机

互联网上的有害内容并非以孤立的形态存在。当我们翻阅社交媒体上的仇恨言论时，会发现一个令人不安的事实：仇恨言论与虚假信息之间存在着深层的纠缠关系。一条攻击特定族群的帖子，往往同时夹带着对该族群的虚假指控——比如说某个族群"携带疾病"、"偷走工作机会"或者"威胁国家安全"。这些叙事把偏见与谎言编织在一起，形成一种更难拆解的有害信息复合体。

然而，自然语言处理（NLP）领域的研究传统上将仇恨言论和虚假信息视为两个独立的研究方向。仇恨言论检测关注的是"这是否构成攻击性语言"，虚假信息检测关注的是"这是否为不实信息"。这种二分法在面对现实中的复合型有害内容时显得力不从心。

反击话语（counterspeech）作为一种建设性的应对策略，已经被越来越多的研究者和平台所重视。与其简单地删除有害内容或封禁用户，不如提供有理有据的回应，帮助旁观者（bystanders）形成更准确的认知。但生成高质量的反击话语面临几个核心挑战：

第一，零样本（zero-shot）大语言模型生成的反击话语往往流于表面。它们倾向于使用模板化的回应，缺乏针对性和说服力。比如，面对一条关于某个族群的虚假信息式仇恨言论，模型可能会泛泛地回复"我们应该尊重所有人"，而不是针对具体的虚假指控进行有据可查的反驳。

第二，现有数据集存在严重局限。已有的反击话语数据集大多只处理单轮对话，而现实中的网络交互是多轮的——有人提出有害观点，有人回应，原帖者可能继续辩护或强化其立场，整个对话需要持续的、有针对性的反击策略。此外，大部分数据集仅覆盖英语，无法满足全球化社交媒体平台的多语言需求。

第三，事实可追溯性（factual grounding）是反击话语可信度的关键。一条优秀的反击话语不应仅仅表达反对意见，而应引用可验证的事实来源——比如权威的事实核查报告、新闻报道或NGO调查数据。但现有的反击话语数据集很少系统性地将对话与外部知识源进行关联。

正是在这样的背景下，CATCH-ME数据集应运而生。它的名字本身就是一个巧妙的双关——"CATCH-ME"既暗示了"抓住我"的紧迫感（对应在线有害内容的即时性挑战），也是"Contextually Annotated multi-Turn Counterspeech against Hate and Misinformation Exchanges"的首字母缩写。更有趣的是副标题中的"if you RAG"，既呼应了经典谚语"catch me if you can"，又直接点明了该数据集与RAG（检索增强生成）技术的深度结合。

这项研究的核心动机可以归纳为三个"弥合"：弥合仇恨言论研究与虚假信息研究之间的鸿沟；弥合单轮数据集与真实多轮交互之间的鸿沟；弥合反击话语的事实可靠性与缺乏外部知识锚定之间的鸿沟。

核心发现

CATCH-ME论文带来了多项值得关注的发现和贡献：

1. 仇恨与虚假信息的高度重叠性

研究团队通过大规模数据收集和专家标注发现，在实际网络仇恨言论中，虚假信息的渗透率远高于研究者此前的预期。针对特定群体的攻击性言论很少只停留在情绪层面的辱骂，它们往往伴随着一套虚假的"事实"叙事体系。这意味着，仅仅识别仇恨言论的情绪特征是不够的，还需要识别并回应其中蕴含的事实性错误。

2. 现有LLM在该场景下的表现不佳

论文展示了当下的大语言模型（包括零样本设置下的主流模型）在面对仇恨与虚假信息的复合场景时，生成的反击话语质量令人失望。这些模型存在三个典型问题：

重复性高：不同场景下生成的反击话语使用大量相同的套话，缺乏场景适配性
模糊性大：回应往往过于笼统，没有针对具体的虚假信息进行有的放矢的反驳
缺乏事实支撑：生成的回应很少引用可验证的事实来源，说服力不足

3. 多轮对话带来独特的策略需求

与单轮反击不同，多轮对话中的反击策略需要随对话演化而调整。在CATCH-ME的多轮对话数据中，研究者观察到有效的反击策略在对话的不同阶段会有所不同：初期可能侧重于纠正事实错误，中期可能转向引导对话方向，后期则可能需要强化正面叙事。

4. 多语言视角揭示文化差异

数据集覆盖的五种语言（论文中涵盖的具体语言在此概述）使得研究者能够观察到不同文化语境下仇恨言论和反击策略的差异。某些虚假叙事在不同语言社区中的传播模式存在显著差异，而有效的反击策略也需要考虑文化敏感性。

5. RAG锚定显著提升反击质量

通过将对话内容锚定在经验证的外部知识源上——包括事实核查文章和NGO报告——研究团队证明了RAG方法在提升反击话语的事实可靠性和说服力方面具有明显优势。这种锚定不仅提升了回应的质量，还使得生成的内容具备了可验证性。

6. 文档级和段落级的双重标注价值

CATCH-ME数据集的一个重要创新是提供了两种粒度的标注：文档级标注将整个对话与相关知识源关联，段落级标注则精确标定了每个对话轮次中引用了哪些特定的知识片段。这种双重标注为RAG系统的设计提供了直接的训练和评估资源。

技术方法详解（用类比）

为了理解CATCH-ME的技术方法，我们可以通过几个日常生活的类比来说明。

数据收集：像记者做调查报道一样

想象你是一个调查记者，需要撰写一篇关于网络仇恨言论的深度报道。你不会随便找几条推文就下结论，而是会：

广泛搜集素材：从多个社交媒体平台、论坛收集涉及仇恨和虚假信息的对话
专家审核：邀请熟悉仇恨言论和虚假信息的研究人员对素材进行专业判断
标注分类：对每条素材进行详细标注——这属于哪个类别的仇恨？涉及什么虚假叙事？针对哪个群体？

CATCH-ME的数据收集过程就遵循了类似的流程。研究团队系统性地收集了大量涉及仇恨与虚假信息重叠的原始对话，然后由专业标注人员进行多维度标注。

知识锚定：像法官引用判例一样

在英美法系的法庭上，法官做出判决时需要引用具体的法律条文和先例判决。这种引用不是随意的——它必须指向真实存在的、可查证的法律文献。而且，引用的粒度也不同：有时引用整部法律的某一条款（文档级），有时引用条款中的特定语句（段落级）。

CATCH-ME数据集中的知识锚定机制与此类似。每一条反击话语都被关联到具体的知识来源——事实核查文章或NGO报告。这种关联有两个粒度：

文档级标注：这条反击话语总体上引用了哪些知识文档？（类似于"依据《XX法》第X条"）
段落级标注：在这条反击话语中，具体的哪个句子对应知识文档中的哪段话？（类似于"依据《XX法》第X条第Y款的具体表述"）

RAG集成：像图书管理员辅助写作一样

RAG（检索增强生成）技术的核心思想可以用图书馆的类比来理解。假设你要写一篇关于某个争议话题的文章，有两种方式：

闭卷考试模式（传统LLM）：完全依赖记忆来写作，不管记忆是否准确
开卷考试模式（RAG）：先去图书馆查阅相关资料，找到权威来源，然后在参考这些资料的基础上写作

显然，"开卷考试"模式能产出更准确、更有据可查的内容。CATCH-ME数据集通过提供对话与知识源之间的精确映射，使得RAG系统能够学会：

何时检索：在对话的哪个环节需要引入外部知识
检索什么：应该检索哪类知识源（事实核查？NGO报告？）
如何使用：检索到的知识片段如何自然地融入反击话语中

多轮对话策略：像下棋一样

单轮反击就像是只走一步棋，而多轮反击则是一局完整的对弈。在国际象棋中，每一步棋都需要考虑：

当前局面：对方刚才说了什么？
整体策略：我的长期目标是什么？
资源管理：我还有哪些可用的论据？
对方的可能回应：对方可能如何反驳？

CATCH-ME数据集中的多轮对话记录了这种策略性的互动过程，为训练具备多轮策略规划能力的模型提供了宝贵的数据资源。

多语言设计：像联合国翻译团队一样

联合国的翻译工作不是简单的逐词翻译，而是需要理解每种语言的文化背景、表达习惯和敏感度。同样，仇恨言论和反击话语在不同语言中的表达模式存在显著差异。

CATCH-ME通过覆盖五种语言，使得研究者能够分析：

同一种虚假叙事在不同语言社区中如何变体
不同文化语境下有效的反驳策略有何不同
哪些反击策略具有跨语言的通用性

实验结果分析

论文中的实验设计系统地评估了CATCH-ME数据集的多个维度以及基于该数据集训练的反击话语模型的效果。

基准模型表现

研究团队首先评估了多个主流大语言模型在零样本设置下生成反击话语的表现。实验结果揭示了一个令人清醒的现实：即使是参数量很大的模型，在没有针对性训练数据的情况下，也难以生成高质量的反击话语。具体表现在：

重复率指标：零样本模型生成的不同回复之间存在高度的文本重叠，表明模型在"走捷径"——反复使用相同的模板化语言，而不是针对具体的有害内容定制回应。

事实准确率：零样本模型生成的回应中，能够被外部知识源验证的比例较低。这意味着模型在"自信地胡说八道"——生成看起来合理但实际缺乏事实基础的内容。

相关性评分：由人类评估者打分的回复-攻击相关性表明，零样本模型的回应往往不能精准地回应攻击中的核心虚假信息点。

数据集质量评估

CATCH-ME数据集本身的质量通过多个指标进行了验证：

标注一致性：多位标注人员之间的一致性得分（inter-annotator agreement）表明，该数据集的标注标准清晰、可重复。这对于任何机器学习数据集来说都是基本但关键的质量保障。

知识覆盖度：数据集中引用的外部知识源覆盖了多种事实核查来源和NGO报告，确保了知识锚定的多样性和权威性。

对话真实性：多轮对话的结构和内容经过评估，被认为真实反映了网络上仇恨与虚假信息互动的典型模式。

RAG增强效果

论文中最具实践意义的实验之一是对比了使用和不使用RAG机制的反击话语生成效果：

事实可靠性提升：当模型能够检索并参考CATCH-ME中锚定的知识源时，生成的反击话语中可验证事实的比例显著提高。

多样性改善：RAG机制帮助模型生成更多样化的回应，因为不同的知识源提供了不同的论据和视角。

说服力增强：人类评估者倾向于认为有RAG支撑的反击话语更具说服力，因为它们能够引用具体的事实来源，而不仅仅是表达抽象的反对意见。

跨语言分析

多语言实验揭示了有趣的跨文化模式：

通用策略：某些反击策略在所有语言中都表现出较好的效果，这为构建跨语言的反击话语系统提供了基础。

语言特异性：某些策略只在特定语言中有效，提示我们需要文化敏感的反击话语生成方法。

翻译效应：直接翻译的反击策略在不同语言中的效果差异明显，说明了本地化数据的重要性。

消融研究

论文还进行了系统的消融研究，以理解数据集各个组成部分的贡献：

去除知识锚定后：反击话语的事实可靠性明显下降
缩短对话轮次后：多轮策略的连贯性受到影响
减少语言覆盖后：模型的跨语言泛化能力下降

这些消融实验的结果清楚地表明，CATCH-ME数据集的各个设计选择都有其不可替代的价值。

与现有工作对比

在反击话语数据集的谱系中，CATCH-ME占据了一个独特的位置。让我们通过对比来理解其创新性。

与早期反击话语数据集的对比

早期的反击话语数据集（如Gab Hate Corpus、CONAN等）主要关注单轮、单语言的仇恨言论场景。这些数据集的贡献在于建立了反击话语研究的基础框架，但它们存在明显的局限：

维度	早期数据集	CATCH-ME
对话轮次	单轮	多轮
语言覆盖	主要英语	5种语言
有害内容类型	仇恨言论	仇恨+虚假信息
知识锚定	无	事实核查+NGO报告
RAG适用性	不直接适用	原生支持
标注粒度	单一	文档级+段落级

与虚假信息数据集的对比

虚假信息检测领域的数据集（如LIAR、FakeNewsNet等）主要关注真假判断，而不是生成建设性的回应。CATCH-ME将虚假信息的检测与反击话语的生成结合在一起，提供了端到端的解决方案视角。

与多轮对话数据集的对比

虽然对话AI领域有多轮对话数据集（如MultiWOZ等），但这些数据集主要关注任务型对话或开放域闲聊，不涉及有害内容场景。CATCH-ME将多轮对话技术引入有害内容应对领域，开创了新的研究方向。

与RAG训练数据的对比

现有RAG训练数据主要面向问答、摘要等通用任务。CATCH-ME提供的对话-知识映射是专门为反击话语场景设计的，填补了RAG在社会公益应用中的数据空白。

方法论层面的创新

从方法论角度来看，CATCH-ME有几个值得注意的创新点：

复合有害内容框架：不是简单地将仇恨言论和虚假信息视为两个独立标签，而是将其视为一个有机整体，这种视角更贴近现实
知识锚定标注协议：设计了一套系统性的标注方案，将对话与外部知识源在多个粒度上进行关联
多语言并行构建：不是先构建单语言数据集再翻译，而是在多语言环境下并行构建，确保了各语言版本的文化适切性

潜在应用与影响

CATCH-ME数据集的价值不仅限于学术研究，它在多个实际应用场景中具有直接的用途。

社交媒体平台的内容治理

大型社交媒体平台面临的有害内容治理挑战是规模化的。每天有数以百万计的帖子被标记为潜在有害内容，仅靠人工审核员无法应对。CATCH-ME数据集可以支撑以下应用：

自动化反击助手：当检测到仇恨与虚假信息的复合型有害内容时，系统可以自动生成基于事实的反击话语建议，辅助版主或社区成员进行回应。这种"人机协作"模式比纯自动化删除更有建设性，因为它不压制言论，而是用事实回应。

旁观者教育工具：社交媒体上的大多数用户是旁观者而非直接参与者。基于CATCH-ME训练的系统可以为旁观者提供简明的事实核查摘要，帮助他们在不深入参与争论的情况下了解真相。

新闻与事实核查

事实核查机构（如PolitiFact、Snopes等）的工作流程可以因CATCH-ME而得到增强：

反驳模板生成：面对反复出现的虚假叙事，基于CATCH-ME的系统可以生成结构化的反驳模板，事实核查人员在此基础上修改和发布，提升工作效率。

多语言事实核查：CATCH-ME的多语言特性使得同一虚假叙事在不同语言社区中的变体可以被关联和追踪，有助于全球性虚假信息的监测和应对。

教育与培训

数字素养教育：CATCH-ME数据集中的对话案例可以作为数字素养课程的教学材料，帮助学生识别仇恨与虚假信息的复合形态，并学习建设性的回应方式。

调解员培训：在线社区调解员可以使用基于CATCH-ME的模拟系统进行培训，练习如何在复杂的有害内容场景中做出恰当的回应。

学术研究的催化效应

CATCH-ME作为该领域的首个大规模数据集，有望催化一系列后续研究：

跨语言仇恨言论与虚假信息的对比研究
反击话语策略的自动评估方法
RAG系统在社会公益场景中的优化
多轮对话中的有害内容演化模式分析
人机协作式内容治理的效果评估

政策影响

从政策层面来看，CATCH-ME的研究成果可以为以下议题提供实证支持：

平台治理标准：帮助监管机构制定更科学的有害内容治理标准，区分需要删除的内容和可以建设性回应的内容。

AI透明度要求：RAG锚定机制天然支持可解释性——每个反击话语都可以追溯到具体的知识来源，这对于满足AI透明度监管要求具有积极意义。

局限性与未来方向

任何研究都有其边界，CATCH-ME也不例外。正视这些局限性，有助于我们更准确地理解该数据集的适用范围和后续改进方向。

当前局限

语言覆盖仍有不足：虽然CATCH-ME覆盖了5种语言，但全球主要语言数量远超此数。阿拉伯语、印地语、日语等在网络仇恨言论中频繁出现但尚未被纳入的语言，可能需要后续扩展。

平台覆盖有限：数据集主要从特定的社交媒体平台收集数据，不同平台上的有害内容特征可能存在差异。例如，匿名论坛上的仇恨言论可能与实名社交网络上的表现形式不同。

知识源时效性：数据集中引用的事实核查文章和NGO报告都有其时效性。随着时间推移，新的虚假叙事不断出现，知识库需要持续更新。

文化深度：虽然多语言设计考虑了文化差异，但每种语言内部也存在巨大的文化多样性。例如，同是英语国家，美国、英国和南非的仇恨言论模式可能差异显著。

标注者偏见：任何人工标注都不可避免地引入标注者的主观判断。虽然论文报告了标注一致性指标，但标注者的文化背景、政治倾向和个人经历都可能影响标注结果。

对话真实性与伦理：虽然研究团队努力确保对话的真实性，但人工构建或编辑的对话可能无法完全捕捉自然状态下仇恨言论的复杂性和微妙之处。此外，创建包含仇恨言论的数据集本身存在伦理风险，需要谨慎处理。

未来研究方向

扩展语言和平台覆盖：最直接的扩展方向是增加更多语言和社交媒体平台的数据，构建更具全球代表性的反击话语数据集。

动态知识更新：开发能够动态更新知识源的RAG系统，使反击话语模型能够跟上不断变化的虚假信息 landscape。这可能涉及与事实核查机构建立持续的数据共享机制。

反击效果评估：目前的评估主要基于语言质量指标，未来需要开发能够评估反击话语实际效果的方法——即这些回应在真实场景中是否真的能改变旁观者的认知。

个性化反击策略：不同攻击者和旁观者可能需要不同的反击策略。未来的研究可以探索如何根据对话参与者的特点定制反击策略。

跨模态扩展：当前数据集主要处理文本，但网络上的有害内容越来越多地以图像、视频和多媒体形式存在。将CATCH-ME的框架扩展到多模态场景是一个重要的研究方向。

对抗鲁棒性：随着反击话语系统的部署，攻击者可能会发展出绕过反击的策略。研究反击系统的对抗鲁棒性将是一个持续的挑战。

与平台治理系统的深度集成：将基于CATCH-ME的反击话语系统与现有的内容审核管道进行深度集成，实现从检测到响应的自动化工作流。

用户研究：在真实社交媒体场景中进行大规模用户研究，验证基于CATCH-ME训练的反击话语系统的实际效果和用户体验。

总结

CATCH-ME数据集的发布标志着反击话语研究进入了一个新阶段。它不再满足于在单一维度上（单语言、单轮、纯仇恨言论）构建解决方案，而是直面现实世界的复杂性——仇恨与虚假信息的交织、多轮对话的策略需求、跨语言的文化差异以及事实可追溯性的技术挑战。

这项工作的核心贡献可以概括为四点：

第一，它揭示了仇恨言论与虚假信息之间被忽视的深层联系，挑战了将两者独立处理的传统范式。

第二，它提供了一个高质量的、多维度标注的数据资源，直接支撑RAG系统在反击话语场景中的训练和评估。

第三，它通过实验证明了零样本大语言模型在该场景下的不足，凸显了领域特定数据的不可替代性。

第四，它开创了一个新的研究方向——将RAG技术与社会公益应用相结合，用技术手段应对在线有害内容的挑战。

从更宏观的视角来看，CATCH-ME代表了一种研究理念的转变：与其试图通过删除和封禁来压制有害内容，不如通过提供有据可查的建设性回应来"接种"信息生态。这种理念类似于医学中的"疫苗"思维——不是消灭病原体，而是增强免疫系统的能力。

当然，一个数据集无法解决所有问题。仇恨言论和虚假信息的挑战是系统性的，涉及技术、社会、法律和教育等多个层面。但CATCH-ME为技术层面的应对提供了重要的基础设施。正如论文标题所暗示的——"CATCH-ME if you RAG"——它向研究社区发出邀请：来吧，用检索增强生成技术来"抓住"这些交织的有害内容。而这场"追逐"，值得我们全力以赴。

本文基于arXiv论文2606.20369v1撰写，论文由Helena Bonaldi、Genoveffa Martone和Marco Guerini完成。