


论文地址:https://arxiv.org/abs/2410.10762

因此,AFLOW 要解决的问题,就是把这个琐碎复杂的过程交给 AI.


AFLOW 的目标是在特定的任务下,找到一个最佳表现的工作流,这些任务可能是求解数学题,根据需求完成代码或者是从一个长上下文中进行多步的推理。
但是呢~无论是哪一类问题,它们的优化起始点都应该是没有工作流,这样的目的是所有问题的起点都可以归于一个状态,这样我们无需由于更换问题类型和原因而担心起始状态的配置。
随后,AFLOW 通过 MCTS(一种搜索算法)的四个主要步骤进行迭代:选择、扩展、评估和反向传播。这样,它能持续不断地迭代,优化工作流。
接下来,我们把 AFLOW 的优化过程,想象成在研究一道新的美食,需要一步步调配食材,AFLOW 也在不断调整 workflow,直到做出最美味的结果。
1. 回忆选择阶段(选择)
AFLOW 每一轮迭代开始时,都会翻翻自己的食谱笔记本(认真脸)。“今天要做什么美食呢?”一边回忆着之前成功的配方,一边也充满好奇地张望着没试过的新食材(〃’▽’〃)。
有时它会选择最拿手的招牌菜,有时又会大胆尝试全新的配方。在熟悉与创新中寻找最完美的味道!
2. 美味创新阶段(扩展)
有了主意后,AFLOW 就会进厨房啦!以回忆起的某个版本美食为基础创新。“这道菜也许可以加点新香料~”, “这个酱料再调整一下~”。
3. 品鉴评定阶段(评估)
端出新出炉的美食后,AFLOW 会特别认真地品尝每一口。要确认味道是否美味,还要看看火候是否恰到好处,摆盘是否精致。
4. 经验积累阶段(反向传播)
每次烹饪后,AFLOW 都会仔细记录这次的心得,“这道菜的火候要小一些更好”、“那个配料的比例可以再高一点”…像写食评一样详细记录,为下一次的创新积累经验。
渐渐地,它的美食笔记本就会变得越来越厚,厨艺也会越来越精湛!(经验积累的过程)
AFLOW 带来的 Agentic 工作流变革
1. 显著的性能优势
在评估时,我们也需要让 AFLOW 参加各种的美食大赛(在不同 Benchmark 上跑测)与其它制作美食的方法进行比拼。
比赛分成三个美食组别:
🍝 代码美食组(考验基础厨艺的 HumanEval 杯和进阶技巧的 MBPP 杯)
🧮 数学美食组(需要精确计算的 GSM8K 杯和高难度的 MATH 杯)
📚 知识美食组(考验综合能力的 HotpotQA 杯和创新能力的 DROP 杯)
(◍•ᴗ•◍) 比赛成绩超级棒哦!
1. 比其他人类手动烹饪的分数平均高出 5.7 分!
2. 比其它机器人做菜的方法更是高出了 19.5 分!
最厉害的是,在所有六个比赛项目里,AFLOW 都拿到了特别好的成绩,不管是简单的家常菜,还是复杂的创新料理,都完成得特别出色!
2. 显著成本降低
之前大家都觉得要做出米其林级别的美食,一定要去请最厉害的厨师(像 GPT-4o 这样的大模型)。
但是!AFLOW 发现了一个超厉害的省钱秘诀。
只要掌握了完美的烹饪工作流,去找一个普通的厨师(像是gpt-4o-mini)也能做出一样美味的料理呢!而且…
✨只需要花以前 4.55% 的钱✨
这样一来,不管是小餐厅还是大饭店,都能用平价食材做出超级美味的菜啦!
3. 自动化的效率提升
AFLOW 彻底改变了传统的人工调试模式!通过自动化的工作流生成与优化机制,让我们不必再在电脑前苦苦等待,开发者也不再需要花费大量时间进行反复调试和优化,系统能够自动发现最优的工作流组合,大幅缩短了开发周期。
我们完全不再需要手动设计工作流了?
回到我们最初的问题,这个工作是否代表未来我们再也不需要设计 workflow?
特工鲸鱼觉得答案是否定的,至少短期内还没有那么快。
为什么这样说呢?
人类在设计工作流时,往往没有明确的反馈,我们在靠着自己的创意设计不同的工作流,例如文案的生成,图像生成或者是一些搜索工作流,这些任务并不像算算术,写代码有明确的“正确”和“错误”的反馈,它更多来自于我们人类的经验和对世界的理解与认知,这些领域都是 AFLOW 还未解决的问题,即在没有明确反馈信息的任务上自动优化。
值得欣喜的是,虽然从学术领域的有效转向落地还需要一定的时间,上面的问题也还需要解决,但这个过程来的不会太慢。
我们已经将代码开源,并且我们相信如果 AFLOW 作为一个 Agent 能设计迭代一个新的 Agent,在我们的进一步优化下,也许 AFLOW 可以实现设计和迭代自己,达到“自我进化”的最终目标。
目前,我们已在 GitHub 上开源了完整代码。用户可通过自定义 Benchmark 与数据集,快速为个性化任务搜索最佳性能或性能成本平衡的工作流方案,帮助个人和企业节省大量时间。
项目地址:https://github.com/geekan/MetaGPT/tree/main/examples/aflow
最后放一个腾讯元宝 AI 总结生成的海报!



原创文章,作者:特工宇宙,如若转载,请注明出处:https://www.agent-universe.cn/2024/11/21681.html