PAWS-X ：用于释义识别的跨语言对抗数据集

数据集描述

主页: PAWS-X
存储库: PAWS-X
论文: PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification
联系方式: Yinfei Yang

数据集摘要

该数据集包含 23,659 个人工翻译的 PAWS 评估对和 296,406 个机器翻译的训练对，采用六种类型不同的语言：法语、西班牙语、德语、中文、日语和韩语。所有翻译对均源自 PAWS-Wiki 中的示例。

有关更多详细信息，请参阅随附的论文： PAWS-X：用于释义识别的跨语言对抗数据集

支持的任务和排行榜

主要用于英语和法语、西班牙语、德语、中文、日语和韩语等 6 种语言的释义识别

语言

数据集有英语、法语、西班牙语、德语、中文、日语和韩语版本

数据集结构

数据实例

英语：

id		    :   1
sentence1	:	In Paris , in October 1560 , he secretly met the English ambassador , Nicolas Throckmorton , asking him for a passport to return to England through Scotland .
sentence2	:	In October 1560 , he secretly met with the English ambassador , Nicolas Throckmorton , in Paris , and asked him for a passport to return to Scotland through England .
label       :   0

法语：

id		    :   1
sentence1	:	À Paris, en octobre 1560, il rencontra secrètement l'ambassadeur d'Angleterre, Nicolas Throckmorton, lui demandant un passeport pour retourner en Angleterre en passant par l'Écosse.
sentence2	:	En octobre 1560, il rencontra secrètement l'ambassadeur d'Angleterre, Nicolas Throckmorton, à Paris, et lui demanda un passeport pour retourner en Écosse par l'Angleterre.
label       :   0

数据字段

所有文件均为 tsv 格式，包含四列：

Column Name	Data
id	An ID that matches the ID of the source pair in PAWS-Wiki
sentence1	The first sentence
sentence2	The second sentence
label	Label for each pair

每个翻译的源文本可以通过在 PAWS-Wiki 中查找相应文件中的 ID 来检索。

数据分割

七种语言中每种语言的示例数量如下所示：

Language	Train	Dev	Test
en	49,401	2,000	2,000
fr	49,401	2,000	2,000
es	49,401	2,000	2,000
de	49,401	2,000	2,000
zh	49,401	2,000	2,000
ja	49,401	2,000	2,000
ko	49,401	2,000	2,000

注意：请注意 PAWS-X 的开发集和测试集均来自 PAWS-Wiki 的开发集。因此，同一个sentence 1 可能同时出现在开发集和测试集中。尽管如此，研究团队的数据拆分保证了开发集和测试集中的句子对（sentence 1 + sentence 2 ）没有重叠。

数据集创建

策展理由

大多数现有的对抗性数据生成工作都集中在英语上。例如，PAWS（来自 Word Scrambling 的释义对手）（Zhang 等人，2019）由来自维基百科和 Quora 的具有挑战性的英语释义识别对组成。他们利用 PAWS-X 弥补了这一差距，这是一个新数据集，包含 23,659 个人工翻译的 PAWS 评估对，采用六种类型不同的语言：法语、西班牙语、德语、中文、日语和韩语。他们为三种模型提供了基线数字，这些模型具有不同的捕获非本地上下文和句子结构的能力，并使用不同的多语言训练和评估机制。在 PAWS 英语和机器翻译数据上进行微调的多语言 BERT（Devlin 等人，2019）表现最好，在非英语语言中的准确度范围为 83.1-90.8，平均准确度比下一个语言提高了 23%最好的模型。PAWS-X 展示了深度、多语言预训练的有效性，同时也为推动多语言研究以更好地捕获结构和上下文信息的新挑战留下了相当大的空间。

源数据

PAWS，该数据集包含 23,659 个人工翻译的 PAWS 评估对和 296,406 个机器翻译的训练对，采用六种类型不同的语言：法语、西班牙语、德语、中文、日语和韩语。

初始数据收集和标准化

所有翻译对均源自 PAWS-Wiki 中的示例

附加信息

许可信息

该数据集可自由用于任何目的，但感谢 Google LLC（“Google”）作为数据源。数据集「按原样」提供，不带任何明示或暗示的保证。对于因使用该数据集而造成的任何直接或间接损失，Google 不承担任何责任。

引文信息

@InProceedings{pawsx2019emnlp,
  title = {{PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification}},
  author = {Yang, Yinfei and Zhang, Yuan and Tar, Chris and Baldridge, Jason},
  booktitle = {Proc. of EMNLP},
  year = {2019}
}

Contributions

Thanks to @bhavitvyamalik, @gowtham1997 for adding this dataset.

公共数据集/PAWS-X ：用于释义识别的跨语言对抗数据集V2当前版本

准备体验 OpenBayes？

公共数据集
/
PAWS-X ：用于释义识别的跨语言对抗数据集