[FR Team] 第20名方案
各位 Kagglers 好，
感谢举办这场精彩的比赛！
首先，我要感谢 @theoviel 和 @optimo，他们帮助我实现了我的梦想：组建一支法国队参加 Kaggle 比赛。我的期望是像 FIFA 世界杯那样获得亚军 🙂 但我对目前的结果也很满意。以下是我们方案的一些见解：
Theo 的部分
- 使用 VinDr 数据和 BIRADS 目标进行 5 个 epoch 的预训练。
- 在比赛数据 + 外部数据上微调 5 个 epoch。
- bs=8 (v2-s 为 6), lr=4e-4 (v2-s 为 3e-4), Ranger 优化器, 无预热线性调度。
- 外部数据因模型而异，有些仅使用 CBIS。我还训练了带有 VinDr 伪标签的模型，这些模型用于最终的集成中。
- BCE 损失，无类别权重。部分模型使用 BIRADS 作为辅助目标。
- 无过采样/欠采样。
这是我提交的最佳集成模型。为了最大化 CV 分数，最终集成中的模型做了一些微调。
Optimo 的部分
同样，我的 timm 骨干网络是通过预测 BIRADS 在 VinDr 上预训练的。我使用了 CBIS 和 Vindr PL 作为外部数据（这让我的 CV 提升了约 0.02）。
由于 Theo 在“标准模型”上的结果比我的好，我尝试利用来自研究论文的想法提供尽可能多的多样性。我最终使用了两种不同的架构：
- GMIC 的修改版本： 受此代码启发，我实现了一个版本，允许任何 timm 网络作为全局网络和/或局部网络。我还更改了裁剪归一化以充分利用局部亮度。起初我只更改了局部网络，使用了 NYU 数据集上的公开预训练权重。结果在比赛结束前 2 天被禁止了。所以我从头开始训练了一个模型，使用 2 个 effnet-b0 网络作为局部和全局网络，输入尺寸 (1472, 960)，裁剪尺寸 384，提取 4 个补丁。CV：43.69
- MVCCL (BiView) 的修改版本： 受 @heng 代码 链接 启发。主要改动是允许任何 timm 模型作为主网络，并在最终求和中使用主视图和辅助视图的表示。我在最终提交中使用了两个模型，输入尺寸 (1536, 768)：一个 b0 带 16 个注意力头 (CV: 43.45)，一个 b2 带 8 个注意力头 (CV 44.99)。
- 在侧别层级集成这 3 个模型，CV 达到 46.94。
MPWARE 的部分
- DALI 解码器 + YoloX ROI，随后进行裁剪并保持纵横比 = 1 调整大小，生成高度=1024 的图像。无窗位处理。
- 包含的外部数据：CBIS-DDSM（肿块 + 钙化完整图像）+ PASM。
- 训练流程包含有限的类别过采样和基于正标签的加权 CrossEntropyLoss。
- 数据增强：随机裁剪、水平/垂直翻转、轻微 RotateShiftResize、噪声/模糊、随机亮度对比度和粗粒度 Dropout。
- 骨干网络：NFNet + NextViT。
- 无 GeM，使用常规