SELA
输入“/”快速插入内容
🔬SELA
SELA
用户988用户9882024年11月12日修改
SELA 是一个创新系统，它通过将蒙特卡洛树搜索（MCTS）与基于大语言模型（LLM）的智能体相结合，增强了自动机器学习（AutoML）的能力。传统的 AutoML 方法往往生成多样性较低且不够优化的代码，这限制了它们在模型选择和集成方面的效果。SELA 通过将流水线配置表示为树结构来解决这些挑战，使智能体能够智能地探索解决方案空间，并基于实验反馈迭代优化其策略。
1.
数据准备
数据集获取方式有两种选择：
1.
直接下载数据集：
◦
◦
如果链接访问不成功，直接从选择下方对应数据集下载，然后解压到你自己的目录
2.
从零开始准备数据集：
◦
自行收集和处理原始数据
代码块
cd data
python dataset.py --save_analysis_pool
python hf_data.py --save_analysis_pool
2.
配置
2.1
数据配置
•
datasets.yaml： 为相应的数据集提供基础提示语、评估指标和目标列。
•
data.yaml： 将 datasets_dir 修改为所有已准备好的数据集的基础目录。
2.2
大模型配置
•
大模型 API 配置
2.3
任务配置
（首次尝试建议先不尝试）
•
在 datasets.yaml 中可以找到每个任务的 user_requirement ，可以进行修改；比如添加：数据可视化
•
注意：你所添加的执行 Action，会在每次模拟实验中执行，所以需要谨慎添加
3.
SELA
3.1
安装
代码块
pip install -e .
cd metagpt/ext/sela
pip install -r requirements.txt
3.2
运行实验
•
python run_experiment.py --exp_mode mcts --task titanic --rollouts 10
•
python run_experiment.py --exp_mode mcts --task house-prices --rollouts 10 --low_is_better
3.3
参数
•
--rollouts： 展开（模拟）的次数。
•
--use_fixed_insights： 包含保存在 expo/insights/fixed_insights.json中的固定见解。
•
--low_is_better： 如果数据集使用回归指标，则使用此参数。
•
--from_scratch： 在运行蒙特卡洛树搜索（MCTS）之前，基于数据集生成新的见解池。
•
--role_timeout： 限制单次模拟的持续时间（例如：10 rollouts with timeout 1,000 = 最多 10,000 秒）。
•
--max_depth： 设置蒙特卡洛树搜索的最大深度（默认为 4）。
•
--load_tree： 如果之前的实验被中断，加载已存在的蒙特卡洛树搜索树。
◦
例子：python run_experiment.py --exp_mode mcts --task titanic --rollouts 10
3.4
消融研究
随机搜索
•
使用单个见解：python run_experiment.py --exp_mode rs --task titanic --rs_mode single
•
使用一组见解：python run_experiment.py --exp_mode rs --task titanic --rs_mode set
4.
引用
如果您在研究中使用了 SELA，或觉得它很酷或有用，请引用我们的论文！
代码块
@misc{chi2024selatreesearchenhancedllm,
title={SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning},
author={Yizhou Chi and Yizhang Lin and Sirui Hong and Duyi Pan and Yaying Fei and Guanghao Mei and Bangbang Liu and Tianqi Pang and Jacky Kwok and Ceyao Zhang and Bang Liu and Chenglin Wu},
year={2024},
eprint={2410.17238},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2410.17238},
}