3rd place solution

第3名解决方案

作者： Iafoss 及团队成员
比赛： G2Net Gravitational Wave Detection

太长不看版 (TL;DR)

我们在最佳提交中使用的模型：15个1D模型 + 8个2D模型

2D模型 [最佳单模型：在CV、Public LB和Private LB上的分数分别为 0.87875/0.8805/0.8787]

CQT, CWT 变换
Efficientnet, Resnext, InceptionV3...
TTA（测试时增强）：打乱 LIGO 通道

1D模型 [最佳单模型：在CV、Public LB和Private LB上的分数分别为 0.8819/0.8827/0.8820]

针对GW（引力波）检测定制的架构
TTA：垂直翻转、打乱 LIGO 通道、高斯噪声、时间平移、时间掩码、MC dropout

训练：

使用GW数据进行预训练
使用伪标签或软标签进行训练
BCE（二元交叉熵）损失，Rank Loss（排序损失）
MixUp
AdamW, RangerLars+Lookahead 优化器

预处理：

目标为0的平均PSD（设计曲线）
波形延展
使用 Tukey 窗口进行白化

GW模拟

总质量的分布
SNR（信噪比）注入比率 max(N(3.6,1),1)

模型集成

CMA-ES 优化
针对 Private LB 的策略

简介

我们的团队感谢组织者和Kaggle使这次比赛成为可能。此外，我要感谢我出色的队友 @vincentwang25, @richx86, @anjum48, 和 @yamsam 对我们最终结果的巨大贡献。在这次比赛中，我获得了获得Kaggle GM（Grandmaster）所需的最后一枚金牌，这也是 @vincentwang25 和 @richx86 的第一枚金牌。提供的文章是我们所有团队成员共同努力的结果，我只是有幸将其发布。

详细内容

2D模型

像许多参与者一样，我们的团队最初专注于2D模型。在我们尝试的各种方法中，我们发现白化信号是我们稍后将讨论的最有效的信号预处理方法。我们使用从白化信号生成的CQT和CWT图像作为输入，构建了以下2D模型。

我们也尝试了各种2D图像增强（mixup, cutout...），但大多数在这里都不起作用，然而在CQT/CWT之前对输入波形进行mixup确实有助于缓解过拟合。最有效的是交换LIGO信号的增强。这对训练和推理（TTA，测试时增强）都有效，我们发现软伪标签也提高了分数。

我们最佳单2D模型的性能在CV、Public LB和Private LB上为 0.87875/0.8805/0.8787。

EfficientNet(B3, B4, B5, B7), EfficientNetV2(M), ResNet200D, Inception-V3（我们也用ResNeXt模型进行了许多初步实验）
基于白化信号生成的CQT和CWT图像
图像尺寸 128 x 128 ~ 512 x 512
来自集成结果的软无泄漏伪标签
LIGO通道交换增强（随机交换LIGO通道），用于训练和TTA
在CQT/CWT之前进行1D mixup
在频谱图/尺度图输入中添加第4个通道，该通道只是沿频率维度的线性梯度（-1, 1），用于频率编码（类似于transformer中的位置编码）

1D模型

1D模型似乎是我们解决方案的关键组成部分，即使我们在比赛最后1.5周才取得重大进展。大多数参与者可能没有广泛探索这些模型的原因可能是需要使用信号白化来达到与2D模型相当的性能（至少很容易达到），而且对于2秒长的信号来说，白化并不直观（见下文讨论）。然而，1D模型训练速度要快得多，并且它们也优于我们的2D设置。我们最佳单1D模型的性能在CV、Public LB和Private LB上为 0.8819/0.8827/0.8820。因此，经过约8小时的训练，它可以达到LB前7名。

取得这一结果的主要贡献之一是为GW检测任务正确选择了模型架构。具体来说，GW不仅仅是特定形状的信号，而是多个探测器之间信号的相关性。同时，信号可能会偏移约10-20毫秒，因为信号穿越探测器