第5名方案

感谢所有参赛者的辛勤付出。
也感谢组织者和主办方。

有效的策略：

• eca_nfnet_l2 (4折交叉验证) + efficientnet_v2_m (4折交叉验证)
• x5 TTA (测试时增强) (基础, 水平翻转, 垂直翻转, 水平&垂直翻转, 缩放)
• 数据增强 (水平翻转, 垂直翻转, ShiftScaleRotate)
• 512x512 分辨率，使用 0/2/4 通道
  对于 LB 和 CV 来说，使用更大分辨率的图像往往效果更好。
• mixup (混合增强)
• SHOT (https://github.com/tim-learn/SHOT)
• 伪标签 正如讨论中提到的，我们需要在这次比赛中找出训练集和测试集之间的差异。作为解决域偏移的一种方法，我们使用了伪标签。在这次比赛中，由于主办方表示公共测试集和私人测试集是随机划分的，我们假设它们之间的波动会比较小。 对于伪标签，我们使用了以下两种方法进行集成。我们认为这创造了多样性，有助于提高鲁棒性。
  1. 使用所有伪标签
  2. 仅使用高置信度的伪标签

无效的策略：

• Focal Loss, 加权交叉熵损失
• 使用非目标图像
• 使用预处理图像
  通过合并频率方向上差异化的图像进行学习。
• K-means 聚类
  从训练数据中移除不包含测试图像的聚类。
• 使用旧的 SETI 数据进行预训练
• DANN (https://arxiv.org/abs/1505.07818)
• Audio Spectrogram Transformer (https://arxiv.org/pdf/2104.01778.pdf)
• 用于一致性训练的无监督数据增强 (https://arxiv.org/pdf/1904.12848.pdf)
• ROC_star (https://github.com/iridiumblue/roc-star)