通过对“基于几何实体和关系生成的几何习题问答对和解题过程”数据集的分析、评测,帮助企业发现当前模型在问答推理、图片细节理解、关系推理等方面存在的问题,将该数据集应用于企业大模型的训练,帮助企业提升企业模型在知识问答、逻辑推理、图片关系理解方面的准确性和稳定性。
通过平面几何实体及关系知识,实现不同实体及关系的平面几何图生成、问题-答案生成、解题过程生成及校验,具体过程如下: (1)实体及关系采样筛选生成几何图:从当前构造的平面实体(e.g.圆、正方形等 )及关系 (e.g.共线、中点等)中选择多个实体及关系,根据实体属性及关系属性,过滤逻辑错误的实体、关系组合,最终生成符合逻辑的平面几何图及其依赖的实体及关系; (2)构建逻辑依赖图:根据几何图及其依赖的实体及关系,应用所有可能的几何定理,以宽度优先搜索(BFS)方式推导新结论作为新节点,构建可实现的逻辑依赖图; (3)根据目标反向标记路径:根据不同的搜索深度,以逻辑依赖图的一个节点作为“求解答案”,逆向追溯,找到所有推导的前提条件和中间步骤;(4)生成推理路径:根据标记的路径,梳理拓扑排序,使得每一个节点都是(条件、定理、结论)三元组;(5)几何语言转译为自然语言:采用LLM模型+prompt模板,将推理过程润色成解题过程,生成不同难度的习题、答案和解题思路;(6)COT筛选及校正:采用LLM-as-a-judge评估当前转译的解题思路是否存在修改条件、定理和结论,如果有修改,将该cot过程+评估结果作为prompt一部分,重新生成COT;
| 字段名 | 类型 | 描述 |
|---|---|---|
1习题编号 |
-- | -- |
2哈希编码 |
-- | -- |
3类型 |
-- | -- |
4年级 |
-- | -- |
5学科 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 1习题编号 | 1 |
| 2哈希编码 | e8b698a5fbaaf2067e9f69056894b830fd7fc2d3 |
| 3类型 | 问答题 |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/180552