返回列表

4th place solution

628. ARC Prize 2024 | arc-prize-2024

开始: 2024-06-11 结束: 2024-11-10 数学与计算 AI大模型赛
第四名解决方案 - ARC Prize 2024

第四名解决方案

作者: William Wu Chengyuan
发布日期: 2024-12-07
竞赛排名: 4

首先,我想向 Kaggle 和 ARC Prize 组织者致以最诚挚的感谢,感谢他们举办了这场非凡的比赛,这对于提高意识并推进解决人工通用智能(AGI)挑战的努力至关重要。

代码链接如下:https://www.kaggle.com/code/williamwu88/fork-of-small-sample-arc24-7d97ca

  • 该 Notebook 主要使用了经典技术,如 DSL(领域特定语言)、决策树、CNNs,并建立在 2020 年比赛的获胜解决方案之上,利用 2024 年引入的更新和增强的计算能力进行了改进。这些变化提高了算法效率和适应性,并通过集成技术提高了分数。

  • 该 Notebook 整合了 2020 年比赛顶级解决方案的见解,例如 DSL,已证明对解决多个任务有效。参考了参与者如 @icecuber@golubev@szabo7zoltan@ilialar@mehrankazeminia@somayyehgholami 的作品,并根据需要进行了修改。我们还参考了 Michael Hodel 及其团队关于 ARC-DSL 的公共 GitHub 仓库(https://github.com/michaelhodel/arc-dsl)。

  • 2024 年解决方案分数高于 2020 年解决方案的一个关键因素是 Kaggle Kernels 计算能力的增加(增加到 30 GB RAM),以及允许的时间(从 9 小时增加到 12 小时)。这使我们能够以更大的搜索深度运行算法,运行更长的 epoch,以及在集成中容纳更多的模型。

使用的机器学习技术列表(大致按重要性排序):

  • DSL(领域特定语言)以及对有向无环图(DAG)的搜索
  • 决策树
  • 卷积神经网络(CNNs)
  • 数据增强和预处理(如对角翻转、颜色切换、使用对称性等)

对于集成学习,使用的关键技术包括多数投票、自定义逻辑(例如,icecuber 的解决方案被手动优先处理并免除多数投票)和概率试验(其中选择模型的概率大致与其解决的新问题数量成正比)。

总的来说,我没想到会使用经典机器学习技术进入获奖位置(原来是第 7 位,在一些团队退出后变为第 4 位)。总之,在阅读了解决方案后,我坚信顶级团队的测试时训练(TTT)方法目前是最先进的,也是最有希望的方法。时间会证明 TTT 是否足以破解 ARC Prize!

再次感谢 Kaggle 和 ARC Prize 组织者!

同比赛其他方案