MegaMath

MegaMath是一个大规模的数学预训练数据集，包含3700亿个token。该数据集通过重新提取Common Crawl中的数学文档、识别高质量的数学相关代码以及合成QA风格文本和代码块等方式进行构建。MegaMath旨在为不同的训练需求提供多样化的数据变体，适用于从头训练或持续预训练大型语言模型。