第 6 名解决方案

概述

我的解决方案是基于一个公开的基于 XGB 的 Notebook 的分支，其中 Tg 预测值进行了偏移（+30）。虽然我提交过更激进的 Tg 偏移，但我不确定这最终是否会成为获胜策略，因此限制了增加量。我强烈感觉到这很可能对私有测试集产生影响，所以我选择了一个具有 mild 偏移的 Notebook 和一个没有任何 Tg 偏移的 Notebook。遗憾的是，虽然我觉得实验神经网络很有趣，但在本次挑战可用的时间内，我没有找到一条能与基于 GBM 的方法强烈竞争的路径。

简而言之

gbdt_predictions_df['Tg'] += (303-273)*1

未成功的尝试

• 小型 TabTransformer

  去年 LEAP - Atmospheric Physics using AI (ClimSim) 竞赛结束时，我发现很有趣的是，我可以缩小获胜网络的设计规模，同时大致保持相同的结果。所以，我认为有趣的是缩小嵌入维度（6）、头数（6）、编码器数量（6），并增加前馈隐藏维度（768）。

  虽然这带来了显著的改进：LB 0.089 PB 0.103 -> LB 0.077 PB 0.094；但我认为它与 XGBoost 或 LightGBM 等相比没有竞争力。

• 使用 LAMMPS 进行数据增强

  这更多是我自己的错；我很快就决定我没有时间真正投入于此。