← 返回首页

DARE-bench：评估大型语言模型在数据科学中的建模与指令忠实度

arXiv: 2602.24288v1

论文信息

标题: DARE-bench: Evaluating Modeling and Instruction Fidelity of LLMs in Data Science

作者: Fan Shu, Yite Wang, Ruofan Wu, et al.

发布日期: 2026-02-27

arXiv ID: 2602.24288v1

PDF链接: 下载PDF

论文背景与研究动机：填补数据科学领域LLM评估的空白

近年来，大型语言模型（LLMs）在代码生成、数学推理和自然语言处理等领域展现出惊人能力，其应用边界正迅速向数据科学这一复杂领域扩展。数据科学任务，如数据清洗、特征工程、模型选择与调优，本质上是多步骤、强逻辑且高度依赖领域知识的。越来越多的开发者和研究人员开始尝试使用LLM作为“AI数据科学家”或“智能助手”来自动化或辅助完成这些流程。

然而，这一趋势催生了一个紧迫的需求：如何准确、客观地评估LLM在真实数据科学任务上的能力？ 现有的基准测试存在两大显著缺陷，构成了本论文研究的核心动机。

第一，缺乏标准化、过程感知的评估体系。 当前许多基准（如HumanEval、GSM8K）侧重于最终答案的正确性，或是依赖人类或另一个LLM作为“裁判”来评估输出质量。这种评估方式对于数据科学任务来说是“失焦”的。数据科学不仅关乎最终模型的一个准确率数字，更关乎整个分析流程的指令遵循性和过程保真度。例如，一个模型可能通过“走捷径”或错误地解读指令得到一个看似不错的结果，但其分析步骤、模型选择理由、参数设置可能完全不符合数据科学最佳实践或用户的具体要求。现有基准无法捕捉这种过程层面的偏差。

第二，高质量训练数据的稀缺。 要提升LLM在数据科学领域的能力，需要大量高质量、标注准确的指令-输出对进行微调。然而，人工创建这样的数据成本极高，且难以保证规模与多样性。而利用现有模型（如GPT-4）自动生成的数据，又可能包含其固有的错误和偏见，形成“数据污染”循环。

正是为了填补这两个关键空白，研究团队提出了 DARE-bench。其目标不仅是创建一个更科学的评估标尺，更是要构建一个能够用于模型能力提升的大规模、高质量数据资源库，从而推动“AI for Data Science”从概念演示走向可靠应用。

核心方法：构建一个基于真实场景、可验证的基准

DARE-bench的设计哲学围绕三个核心原则：真实性、可验证性和全面性。其构建方法体现了严谨的工程化思维。

数据来源：扎根于Kaggle的真实世界任务。 研究团队从Kaggle平台——全球最大的数据科学竞赛社区——采集任务。他们没有直接使用竞赛题目，而是精心筛选了那些包含清晰、多步骤解决方案的公开笔记本（Notebooks）。这些笔记本由社区专家编写，提供了从数据加载、探索性分析、预处理、建模到结果评估的完整、可执行的代码流程。这确保了DARE-bench中的任务高度贴近真实数据科学家的工作流，而非人为设计的简化问题。

任务构建与分解：从解决方案反推指令。 这是方法上的一个关键创新。研究人员采用“逆向工程”思路：

  1. 将一个完整的Kaggle解决方案笔记本（Solution Notebook）作为“标准答案”或“真实过程”。
  2. 通过分析该笔记本的代码逻辑和注释，人工提炼或重构出一个对应的、自然语言描述的多步骤指令。这条指令精确描述了需要完成的数据科学任务。
  3. 这样，每一个数据点都构成了一个三元组：(指令， 标准代码解决方案， 标准输出结果)。这里的“标准输出”可以是模型性能指标、生成的数据图表描述或处理后的数据片段等。

任务分类与规模：覆盖广度与支持智能体。 DARE-bench最终包含6，300个任务，并进行了细致分类，以全面评估模型能力：

  • 机器学习建模任务：涉及模型选择、训练、评估、超参数调优等核心环节。这是评估模型深度数据科学知识的关键。
  • 数据操作与分析任务：涵盖数据加载、清洗、转换、聚合、可视化等前期工作。
  • 工具使用任务：明确要求模型调用特定库函数或工具（如scikit-learn、pandas、matplotlib），以评估其API调用和工具协同能力，这对构建基于LLM的自主智能体（Agent）至关重要。

评估机制：客观的、基于真实答案的自动评分。 DARE-bench最大的优势在于其所有任务都有可验证的真实答案。评估时，模型生成的代码会被执行，其输出（如打印的准确率、生成的图表数据、处理后的表格形状）将与“标准输出”进行自动化比对。这种基于执行结果的评估方式完全消除了主观判断，确保了评估的客观性和可重复性。它直接衡量的是模型“做对事”的能力，而不仅仅是“说对话”。

创新点与贡献：不止于基准，更是数据引擎

DARE-bench的贡献是多维度的，它不仅仅是一个测试集，更是一个推动领域发展的基础设施。

1. 首创过程与指令保真度的标准化评估。 DARE-bench首次将“指令遵循”和“过程正确性”这两个对实际应用至关重要的维度，通过可执行代码和真实结果比对的方式进行了量化。它告诉研究者，一个模型是否真正理解了复杂指令的每一步要求，并按照数据科学的规范流程执行。这比单纯看最终答案的准确性更有指导意义。

2. 提供大规模、高质量的训练数据源。 论文明确指出，DARE-bench的6，300个任务同时也是一个高质量的监督微调数据集。由于每个任务都源自真实的专家解决方案，其质量远高于模型自动生成或简单爬取的数据。这为解决数据科学领域LLM训练数据稀缺的难题提供了一个宝贵的资源。

3. 验证了微调对专业领域能力的巨大提升潜力。 论文通过实验证实，即使在通用领域表现优异的模型，在专业的DARE-bench任务上也可能表现不佳。而利用DARE-bench的数据进行微调，能带来数量级的性能提升。这强有力地证明了：对于数据科学这类专业、复杂的任务，领域特定的微调不是可选项，而是必需品。DARE-bench为这种微调提供了燃料。

4. 为AI智能体（Agent）开发奠定基础。 数据科学任务本质上是智能体任务的典型场景：规划步骤、使用工具（Python库）、处理中间状态、达成最终目标。DARE-bench中对工具使用和分步骤指令的强调，使其成为开发和评估数据科学AI智能体的理想试验场。

实验结果分析：揭示差距，验证价值

论文中的实验结果清晰而具有说服力，主要传递了以下几个关键信息：

顶尖通用模型在专业数据科学任务上依然吃力。 评估显示，即使是像gpt-4o-mini这样能力强大的通用模型，在DARE-bench上的整体表现也远未达到优秀水平，尤其是在机器学习建模任务上表现最为薄弱。这说明，通用领域的语言理解和代码生成能力，并不能直接、完美地迁移到需要深度领域知识、严谨逻辑和多步骤规划的数据科学任务中。模型可能会在数据预处理上犯错，可能选择不合适的模型，可能错误地解释评估指标。

监督微调带来显著增益。 使用DARE-bench的训练集对模型进行监督微调，效果立竿见影。以Qwen3-32B模型为例，经过微调后，其在基准测试上的准确率提升了1.83倍。这直观地展示了高质量领域数据对于“教育”LLM、弥补其专业知识缺口的重要性。

强化学习带来突破性改进。 论文进一步采用了基于人类反馈的强化学习技术对模型进行优化，结果更为惊人。对于规模较小的Qwen3-4B模型，RLHF微调使其准确率提升了超过8倍。这个结果具有双重意义：第一，它表明即使参数规模较小的模型，在获得高质量的专业任务训练后，也能在特定领域爆发出极强的竞争力；第二，它验证了超越简单模仿学习、通过强化学习对齐复杂人类偏好（如流程规范性、结果最优性）在专业领域的巨大潜力。

结果证实了DARE-bench的双重价值。 这些实验共同印证了DARE-bench既是一个灵敏的“诊断仪”，能够有效暴露现有模型在数据科学领域的短板；也是一个高效的“训练场”，其提供的数据能极大程度地提升模型在该领域的专业能力。

实践应用建议与未来方向

对AI研究与开发者的建议：

  1. 将DARE-bench纳入评估体系：任何开发数据科学相关LLM应用（如自动建模平台、智能数据分析助手）的团队，都应使用DARE-bench或类似的过程感知基准来评估模型核心能力，避免被表面流畅的对话所误导。
  2. 优先进行领域微调：计划将LLM应用于数据科学场景时，不应直接使用基础模型。应收集或利用DARE-bench这类高质量数据，进行监督微调。对于追求更高性能的应用，可进一步探索强化学习方法。
  3. 采用工具增强与智能体架构：面对复杂任务，应设计让LLM调用专业工具（如统计库、可视化库、数据库）的框架。DARE-bench中的工具使用任务为此类架构的开发提供了明确的测试用例。
  4. 关注过程可解释性：在构建应用时，不仅要输出最终结果，还应要求模型输出其推理步骤、选择理由和中间检查点。这既有助于用户信任，也便于调试和优化。

对量化交易领域的特别启示： 量化交易策略研究与数据科学流程高度同构（数据获取、因子工程、模型构建、回测验证）。DARE-bench的理念可直接迁移：

  • 构建量化专属基准：可以创建基于真实金融数据、包含多周期回测、风险约束和交易成本核算的复杂指令任务集，用于评估LLM在量化策略生成上的可靠性和逻辑严谨性。
  • 微调专业量化模型：利用历史研报、优质策略代码和回测日志微调LLM，使其理解夏普比率、最大回撤、过拟合等核心概念，并能生成符合交易逻辑的代码。
  • 发展量化研究智能体：开发能自动遍历数据、测试因子组合、优化模型参数、生成回测报告的AI智能体，将极大提升策略研究效率。DARE-bench评估的“过程保真度”对此类智能体至关重要。

未来发展方向：

  1. 基准的动态扩展与难度分级：未来可纳入更复杂、开放性的任务（如从模糊的业务问题定义开始的全流程分析），并设立不同难度等级，以追踪模型能力的进步轨迹。
  2. 评估维度多元化：除了准确性，未来可增加对代码效率、计算资源消耗、解决方案简洁性和创新性等维度的评估。
  3. 跨模态任务集成：数据科学离不开可视化。下一代基准可能需要评估模型根据数据生成恰当图表，或解读图表内容的能力。
  4. 安全与伦理考量：需要评估模型在数据处理中是否考虑了偏差、公平性、隐私保护等伦理问题，例如是否会生成带有歧视性的特征或模型。

总结与展望

DARE-bench的提出，标志着LLM评估研究从通用能力测试向纵深专业领域迈进的关键一步。它精准地戳中了当前“AI for Data Science”热潮背后的评估盲点和数据瓶颈，并提供了一套系统性的解决方案。

这项工作的核心启示在于：对于复杂的专业领域，我们需要与之匹配的、过程导向的、可客观验证的评估标准。 同时，高质量、大规模的领域特定数据是解锁LLM专业能力的钥匙。 DARE-bench成功地将评估基准与训练数据源合二为一，形成了一个推动技术发展的良性循环：更好的基准催生更好的数据，更好的数据训练出更好的模型，更好的模型又为设立更难的基准提供可能。

展望未来，我们期待看到更多像DARE-bench一样深耕于金融、生物、材料、教育等垂直领域的专业基准出现。只有当LLM在这些专业“考场”中经受住严格、客观的检验，其与产业深度融合、真正赋能各行各业的美好愿景才能扎实落地。DARE-bench为这条道路树立了一个优秀的范本。