返回列表

7th Place Solution Write-up

581. Google - Fast or Slow? Predict AI Model Runtime | predict-ai-model-runtime

开始: 2023-08-29 结束: 2023-11-17 基础软件 数据算法赛
第7名解决方案分享

第7名解决方案分享

作者:LIGHT

发布日期:2023-11-21

感谢主办方举办这次引人入胜的比赛,也祝贺获奖者们!通过这次比赛,我真的学到了很多。

Tile部分:

我在Tile部分的方法与官方代码非常相似。我也查看了公开的tile代码,发现验证分数已经相当高了,将它们集成起来并没有带来显著的提升,所以我没有在这一部分投入太多时间。

Layout部分:

对于Layout部分,我主要参考了gst代码(https://github.com/kaidic/GST)。然而,由于GPU内存限制,我在使其高效运行方面遇到了一些挑战。最终,我采用了一种采样方法来减少GPU的使用。

采样方法:

原始数据消耗了太多内存,所以我决定每个样本只采样500或1000个配置。这显著减少了训练时间和GPU内存需求。

训练策略:

  • 训练所有数据
  • 根据边和节点的形状分别训练。虽然测试数据没有明确指定模型类型,但我们可以根据边和节点的形状推断出来
  • 使用不同类型的参数,例如图卷积类型、学习率、批大小、层数和隐藏层大小

集成:

将这些模型集成起来被证明是有效的,能够改善结果。每次我训练一个新模型时,都发现将其与现有模型集成有助于提高分数。

关于公开分数:

我确实在帖子中注意到了提到的事实,但无法完全理解它为何有效。由于我认为风险很大,在私人阶段我非常谨慎地使用它。

同比赛其他方案