第 12 名解决方案：E2E NN

前言

感谢主办方和 Kaggle 团队组织这次比赛，这是我第一次接触天文学，学到了很多，希望再次参与。
我的方法很简单，只是一个端到端的神经网络。最终提交我集成了 3 个模型，但单个模型可以达到 0.552。

校准

我改编自 Pascal 的这个惊人的 notebook，做了一些 minor 改动，保留了 15 个分箱 (binning)。

预处理

信号被裁剪以去除异常值，然后应用组归一化（group norm over lambda）。
未使用 star_info 中的轨道参数。

凌日 (Transits)

在推理期间，模型内部输出凌日点 t1 到 t4，它们以半监督方式进行训练，标签源自 SavGol 平滑信号的梯度并过滤有效性。

架构

模型是一个 BERT 风格的 Transformer 编码器，接收预处理信号作为输入，输出 mu 和 sigma (logvar)。
中间凌日点被送入最终输出头。

训练

由于模型输出 mu 和 sigma，我直接使用高斯 NLL 在竞争指标上进行训练，（中间）凌日头使用 Smooth L1 和无监督对称损失（也是 Smooth L1）进行训练。
对于学习率 (LR)，使用余弦衰减调度，以及非常高的权重衰减 (weight decay) 和少量 dropout。

数据增强

在训练期间对信号应用了翻转和孔径增强，并向凌日点添加噪声。

推理

翻转 TTA 显著提升了 LB (leaderboard)，集成使用逆方差加权完成。

注意事项

训练方差很高（without deterministic algorithms），相同的种子可能会收敛到完全不同的地方，可能是因为 GNLL 的敏感性。这使得在我有限的计算资源下很难可靠地调整超参数。
额外信号在训练和推理期间都没有 noticeable 效果。

后续计划

利用轨道参数并解耦增益漂移 (gain drift)。