该数据知识产权用于多领域科学基座大语言模型的训练，使其可以学习各领域的专业术语、概念和语义信息，从而具备处理各学科自然语言处理任务的能力，助力科学家进行学术研究，回答不同领域问题，并可为长篇论文生成不同长度的摘要，适应会议提交或快速浏览等场景。将中文论文自动翻译为各种语言并保持术语准确性，促进跨语言科研交流。该数据也可以用于构建智能文献检索系统，从而使科学大模型能够具备地学文献检索的能力，为研究人员提供个性化的文献推荐服务，提高文献获取效率。
1. 从公开的FineWeb和DCLM数据集进行采集 2. 将与科学相关的，如生物、化学等网页数据的域名及内容，保存为特定格式，如csv等格式 3. 通过相关学科数据，使用Fasttext算法训练学科分类器，对FineWeb语料进行学科网页域名召回，并得到文本内容、语言分类、语言得分和学科分类。 4. 对召回网页的域名进行域名聚合、域名筛选及评估，对学科分类器进行迭代优化，从而得到更多召回的网页数据，及优化的文本内容、语言分类、语言得分和学科分类。 5. 对召回后的网页数据通过Gopher Repetition、Gopher Quality、C4 Quality、 FineWeb Quality的算法进行质量过滤 6. 对质量过滤后的数据，基于Minhash对文档进行签名计算，使用LSH将相似文档分组，进行针对文档级别相似性去重。 7. 将去重后的数据进行tokenizer转化，得到token数。 8. 最终数据包含文本内容、语言分类、语言得分、token数及学科分类。
| 字段名 | 类型 | 描述 |
|---|---|---|
序号 |
-- | -- |
ID |
-- | -- |
网页内容 |
-- | -- |
转存路径 |
-- | -- |
链接 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 序号 | 1 |
| ID | <urn:uuid:4a6c0ffd-d519-4da9-92a5-8884c8 |
| 网页内容 | 1441 SANTA ANITA AVENUE, SOUTH EL MONTE, |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/176906