数据解释器
输入“/”快速插入内容
📊数据解释器
数据解释器
飞书用户988飞书用户7128
飞书用户7419飞书用户96592024年11月6日修改
MetaGPT 推出数据解释器：智能体自己分析股票、做报表、建模型
给他预测英伟达股票的指令，它就来帮你完成数据导入、清洗、分析、建模等工作。
目前 Data Interpreter 已经合入到 MetaGPT 最新版本中，大家可以直接去体验。
研究背景
目前，由大型语言模型（LLM）驱动的智能体已经证明了它们在处理复杂任务方面的显著潜力。此外，通过赋予 LLM 代码执行能力来提升其问题解决能力正逐渐成为一种趋势，这一点已经通过 Code-Interpreter [1]、OpenInterpreter [2]、TaskWeaver [3] 等工作得到了实践验证。然而，在数据科学领域，面对数据的实时变化、任务间依赖关系复杂、流程优化的专业性，以及执行结果反馈的逻辑一致性识别等挑战，现有 LLM-based 智能体的性能仍有待提升。MetaGPT 团队联合北京工业大学、复旦大学、华东师范大学、河海大学、加拿大蒙特利尔大学、KAUST、圣母大学、厦门大学、香港中文大学（深圳）、香港大学、耶鲁大学、中国科学院深圳先进技术研究院、中国人民大学等多所顶尖高校和研究机构，共同推出了 Data Interpreter （https://arxiv.org/abs/2402.18679）。这是一种全新的解决方案，旨在通过增强智能体的任务规划，工具集成以及推理能力，直面数据科学问题的挑战。
Data Interpreter 提出了三个关键技术：
1） 基于分层图结构的动态计划，基于分层的图结构进行任务和代码规划，有效管理任务间的复杂依赖，灵活应对数据科学任务的实时数据变化；
2） 工具集成与进化，通过在代码生成过程中自动集成代码片段作为工具，动态嵌入了数据科学领域所需的领域知识；
3） 基于验证与经验驱动的推理，自动在反馈中增强逻辑一致性检测，通过基于置信度的验证提升执行代码的逻辑合理性，并借助经验库增强推理能力。在各种数据科学和现实世界任务上的评估表明，与开源基线相比，Data Interpreter 在机器学习任务中表现出色，准确率从 0.86 提升至 0.95。此外，在 MATH 数据集上提高了 26%，在开放式任务中实现了显著的 112%提升。
在机器学习任务和现实世界的开放式任务中与各种开源框架进行比较，Data Interpreter在多种任务上取得sota
Data Interpreter(数据解释器)概述。数据解释器采用任务图生成器和动作图生成器，将初始问题分解为一系列结构化的任务和相应的动作。在此过程中，图的任何级别上的所有节点，即任务节点和动作节点，都可以以可编程的方式生成。节点生成器利用过去的经验生成任务级别的洞察力，通过工具代码和相应的验证案例来改进生成的代码并提高动作图的质量。图执行器与反射模块配合，高效地运行动作图并提供必要的实时反馈。
方法介绍
DYNAMIC PLANNING WITH HIERARCHICAL STRUCTURE
在数据科学领域，实时数据的动态变化和任务间复杂的变量依赖关系对大型语言模型（LLM）提出了重大挑战。为了有效应对这些挑战，Data Interpreter 提出了一种创新解决方案：基于分层图结构的动态计划（DYNAMIC PLANNING WITH HIERARCHICAL STRUCTURE）。这种方法借鉴了自动化机器学习中的层次规划技术，通过层次结构将复杂的数据科学问题分解为易于管理的小任务，并进一步将这些任务转化为具体的代码执行动作，从而实现细致的规划与执行。
层次图结构。数据解释器将用户定义的需求分解为任务图。图中的每个节点代表一个处理步骤，比如模型训练，每条边代表任务依赖关系。然后，任务图转换为行动图。这个行动图由可执行和可验证的代码表示的动作序列组成。通过执行行动图，可以得到对需求的解决方案。