Wikipedia 维基百科数据集

数据集描述

维基百科数据集包含所有语言的清理文章。

该数据集是根据 Wikipedia 转储 ( https://dumps.wikimedia.org/ ) 构建的，每种语言有一个子集，每个子集包含一个训练分割。每个示例都包含一篇完整的维基百科文章的内容，并经过清理以去除降价和不需要的部分（参考文献等）。

所有语言子集都已针对最近的转储进行了处理，您可以通过以下方式按日期和语言加载它们：

from datasets import load_dataset

ds = load_dataset("wikimedia/wikipedia", "20231101.en")

单击下面的 Nomic Atlas 地图以可视化分割中的 640 万个样本20231101.en。

该数据集通常用于语言建模。

您可以在这里找到语言列表：https://meta.wikimedia.org/wiki/List_of_Wikipedias

示例如下：

{'id': '1',
 'url': 'https://simple.wikipedia.org/wiki/April',
 'title': 'April',
 'text': 'April is the fourth month...'
}

所有配置中的数据字段都是相同的：

所有配置都包含一个 train 拆分。

该数据集是根据维基百科转储构建的： https: //dumps.wikimedia.org

您可以在这里找到语言和日期的完整列表： https: //dumps.wikimedia.org/backup-index.html

这些文章已使用该mwparserfromhell工具进行解析。

当上传 20231101 转储的数据文件时，我们注意到维基媒体转储网站不包含“bbc”、“dga”或“zgh”维基百科的日期转储。我们已向 Wikimedia Phabricator 报告了该问题：https ://phabricator.wikimedia.org/T351761

版权许可信息： https: //dumps.wikimedia.org/legal.html

所有原始文本内容均根据 GNU 自由文档许可证 (GFDL) 和知识共享署名-相同方式共享 3.0 许可证获得许可。某些文本可能仅在知识共享许可下可用；有关详细信息，请参阅他们的使用条款。某些作者撰写的文本可能会根据附加许可发布或进入公共领域。

@ONLINE{wikidump,
    author = "Wikimedia Foundation",
    title  = "Wikimedia Downloads",
    url    = "https://dumps.wikimedia.org"
}