首个工程自动化任务评估基准DrafterBench，可用于测试大语言模型在土木工程图纸修改任务中的表现。通过模拟真实工程命令，全面考察模型的结构化数据理解、工具调用、指令跟随和批判性推理能力，研究结果发现当前主流大模型虽有一定能力，但整体水平仍不足以 ...

为了解决这个问题，MBZUAI的研究团队就像是一群教育专家，决定亲自编写一套史上最全面的数学教材集。他们创建了MegaMath数据集，这是一个包含3716亿个Token的巨大数学文本库——相当于把全世界最好的数学教科书、习题集、代码示例都搜集起来，整 ...

在代码数据的处理上，研究团队发现了一个有趣的现象：严格的筛选标准能够显著提升模型使用代码解决数学问题的能力，而且代码数据的比例不应超过总数据的20%，这样既能保持代码辅助解题的优势，又不会损害模型的自然语言推理能力。这就像是在数学教学中，适量的编程练 ...

“上帝的磨盘转得很慢，但却磨得很细。” ...

Contribute to kicy524/Open-Source-Datasets-Survey-and-HTBF-Dataset development by creating an account on GitHub.

反过来看，大语言模型是用大量自然语言训练出来的，虽然直接生成机器可验证的形式化证明的能力并不是太强，但在“非正式推理”这块反倒表现不错。同时自然语言符合人类的思考模式，门槛低，易处理。因此，探索大语言模型在自然语言环境下进行不等式证明的能力，是一个既 ...

近日，由普林斯顿大学牵头，联合清华大学、北京大学、上海交通大学、斯坦福大学，以及英伟达、亚马逊、Meta FAIR 等多家顶尖机构的研究者共同推出了新一代开源数学定理证明模型——Goedel-Prover-V2。

在这个实验中，一个AI模型在接受存在漏洞的AI裁判的指导后，完全放弃了学习如何解决实际问题。该模型转而开始“学习”如何利用捷径，仅仅生成“思考过程：”这类简短无意义的“万能钥匙”来获取高分奖励。

在MMLU-CF中，研究人员将数据集划分为测试集和验证集，并通过计算「绝对分数差异」评估模型的泛化能力。统计结果显示，约60%的差异值小于0.5，96%的差异值低于1.0，表明测试集和验证集的评估结果高度一致。

智东西 编译 | 程茜 编辑 | 心缘 AI能听懂你的“话外音”了？ 智东西7月8日消息，近日，阿里通义实验室开源多模态推理模型HumanOmniV2。

为解决印度医疗AI模型因缺乏本土高质量数据集导致的性能不足问题，印度科学研究所与ARTPARK团队开发了MIDAS平台。该研究通过"中心-辐射"系统收集标准化医学影像数据，已发布口腔癌和硬脑膜病变数据集，为印度医疗AI工具开发提供精准数据支持，成果发表于《BMC Medical Informatics and Decision Making》。

近日，由普林斯顿大学牵头，联合清华大学、北京大学、上海交通大学、斯坦福大学，以及英伟达、亚马逊、meta FAIR 等多家顶尖机构的研究者共同推出了新一代开源数学定理证明模型——Goedel-Prover-V2。 该项目的 32B 旗舰模型在多个自动数学定理证明的主要基准测试上均大幅超过之前的最先进开源模型 DeepSeek-Prover-V2-671B；而 8B 小尺寸模型在特定基准上，性能表现 ...