Public 69th / Private 54th 解决方案

致谢

感谢 Kaggle 和主办方举办这场激动人心的比赛！我在这次比赛中学到了很多东西。也要感谢所有的参与者，特别是我的队友 schulta( @schulta ) 和 Chizuchizu( @chizuchizu )。

模型

各模型的得分如下：

各模型的详细信息如下：

CQT

• EfficientNetB7ns
  • cpt 参数: {“sr”: 2048, “fmin”: 20, “fmax”: 500, “hop_length”: 8, “bins_per_octave”: 12, “filter_scale”: 0.7}
  • 5折验证 (5fold validation)
  • 图像尺寸: 512 x 512
  • Triplet Attention (论文链接)
  • 数据增强: x轴方向平移
• Swin Transformer
  • cqt 参数: {“sr”: 2048, “fmin”: 20, “fmax”: 500, “hop_length”: 8, “bins_per_octave”: 12, “filter_scale”: 0.7}
  • 5折验证
  • 图像尺寸: 384 x 384
  • 数据增强: x轴方向平移

CWT

• EfficientNetB3ns
• 5折验证
• 图像尺寸: 256 x 256
• Triplet Attention
• 数据增强: x轴方向平移

1dCNN

• 我们使用了 公共内核 作为基线。感谢 Shuhao Cao( @scaomath )
• 5折验证
• 增加了一个卷积层
• 带通参数 (bandpass_params) = dict(lf=25, hf=500)

其他方面

有效的尝试

• SAM 优化器
• 归一化 (分别针对每个引力波观测站进行)
• 在通道轴上对齐来自每个引力波干涉仪的频谱图

无效的尝试

• Mix up (混合增强)
• VQT
• 使用 SETI 数据进行预训练

想法

• 匹配滤波
• 两阶段学习
• 去噪自编码器

如果您对这个方案有任何疑问，请随时提问！
感谢您的阅读！