📑
MetaGPT 开源 SELA，让 AI 设计与调优 AI，效果超越 OpenAI 使用的 AIDE

飞书用户988

2024年11月6日修改

common.docs_name - LarkCCM_Docs_Menu_Image

❓ AI 智能体可以设计 AI 吗？

🌟 可以。SELA 用 MCTS 设计 AI 效果在 20 个数据集上达到了 SoTA。它可以自己从历史设计与实验中学习，设计出比之前更好的 AI。它是完全开源的。​

📄 arxiv：https://arxiv.org/abs/2410.17238

💻 代码：https://github.com/geekan/MetaGPT/pull/1514

过去，AI 模型的设计和优化依赖大量专业知识和人力，过程耗时，易受个人经验影响。尽管 AutoML 技术有所进展，但现有系统只会对预定义的搜索空间进行组合搜索，与人类行为不一致。人类会提出动态搜索空间并求解。随着大模型技术的发展，我们看到了大模型能自主设计和调优 AI 模型的希望。然而，实现这一目标面临自主设计和持续调优两大挑战。​

过去几个月，MetaGPT 团队开源的 Data Interpreter 能够自主完成多项机器学习任务，通过增强任务规划、工具集成和推理能力，提升了成功率，但缺乏持续性调优。weco.ai 团队的 AIDE 引入了结果反馈，在 OpenAI 发布的MLE-bench 中表现优异，但由于采用贪婪搜索，往往只收敛到次优结果。​

SELA 由 MetaGPT 团队联合多所顶尖机构推出，是一个可以进行自动实验的智能体。它全面超越了 AIDE 和 Data Interpreter ，在多项机器学习测试中表现卓越，展现出自动化设计与优化 AI 模型的巨大潜力。​

相比于传统 AutoML 框架和基于 LLM 的自动机器学习系统，SELA 可以动态的构造搜索空间，而不是基于一个固定的搜索空间进行搜索，在动态流水线构造表现出了显著优势。同时，类似 AlphaGo 的棋盘逐渐被填满，SELA 也会逐渐在多步中完成机器学习代码，解决了 AIDE 只能进行一步优化的问题​

下方动图展示了 SELA 在医疗数据集（smoker-status）上的搜索过程，我们可以清晰地看到 SELA 在机器学习任务的各个阶段进行了多次深入探索。随着探索轮次的增加，节点的颜色逐渐加深，这象征着得分的持续提升。​

具体来看，SELA 从最初的解决方案 94.3（根节点）出发，通过探索性数据分析，敏锐地捕捉到数据集中潜藏的异常值，并通过数据预处理环节，移除了这些异常值，将得分提升至 96.3。随后，SELA 在另一次实验中，通过相关性分析，精准地剔除了冗余特征并降低了数据维度，使得得分跃升至 97.2。​