“ARC Prize 2024：创建能够解决前所未见推理任务的人工智能”的银牌解决方案（第 37 名）。
https://www.kaggle.com/competitions/arc-prize-2024/
我想向 Kaggle 和比赛主办方“抽象与推理 Corpus (Abstraction and Reasoning Corpus)"组织这次具有挑战性的比赛表示衷心的感谢。祝贺本次比赛中所有获奖者和奖牌获得者。我很高兴能获得银牌，排名第 37 位。
这次比赛引起了极大的兴奋，奖金非常丰厚，旨在重新激发人们对通用人工智能 (AGI) 的兴趣。
参与者们纷纷分享代码和讨论话题。我很高兴能参加涉及非常具有挑战性问题集的比赛。通过观看组织者的视频、阅读文章和论文、以及参与者的讨论和发布的代码，我学到了很多。
对于我在 ARC Prize 2024 竞赛中的解决方案，我从公开 Notebook 开始，并在此基础上进行了改进。我使用了 LLama 3.1 8b 大语言模型 (LLM)，并将其与 ARC Prize 2020 的获奖解决方案相结合，以提高响应的质量和多样性。
- LLaMA 生成的解决方案根据指定条件（例如预测列表的长度）进行调整，以确保每个任务的最佳响应。
- 核心逻辑为指定任务创建解决方案，参数控制 token 限制、采样和温度设置。函数使用这些设置来指导解决方案生成，旨在为手头任务提供多样化的答案。温度设置经过多次迭代进行了微调。
- 条件解决方案处理：不同的条件根据预测结果的长度处理情况。当预测没有元素或元素很少时，函数默认使用 LLaMA 的主要解决方案。随着预测列表长度的增加，函数从其他解决方案选项中选择，允许更灵活地选择解决方案。
- LLaMA 角色的指导：提示词描述 LLaMA 必须创造性地思考以解决任务。它鼓励模型生成多个解决方案并选择最佳的一个。
强调学习 generalized rules 以处理类似问题，推动 LLaMA 产生 versatile, reusable 解决方案。此外，部分提示基于横向思维 (lateral thinking) 技巧。 - 输出集成：该函数包含将 LLaMA 的输出与其他模型解决方案 (ARC 2020) 合并的逻辑，通过结合回退和冗余机制。
- 这种结构允许 LLaMA 承担抽象推理挑战，将其自身的输出与 secondary model 相结合，以提高跨 diverse reasoning tasks 的响应质量。
最终 Leaderboard 得分 = 27