第二名解决方案

致谢

我们 sincerely 感谢 Kaggle 和竞赛组织者提供这次宝贵的机会。我们也向 @hengck23 和 @fnands 表示感激，感谢他们的重大贡献。fnands 的 notebook 和 hengck23 的讨论 为我们的方法提供了坚实的基础。最后，我感谢我的队友 @luoziqian 的出色合作。

总结

我们的方法基于多个轻量级分割模型的集成，参数量范围从 873K 到 14.2M。分割后，我们使用 CC3D 计算粒子质心，并根据体素计数统计过滤小簇。

整体流程

整体流程如下图所示：

模型架构

我们最初使用 MONAI UNet 基线模型进行实验。在整个试验过程中，我们观察到参数量大的模型容易过拟合，并且表现往往不如轻量级模型。因此，我们选择了轻量级架构，如 UNet3D、VoxResNet、VoxHRNet、SegResNet、DynUNet 和 DenseVNet。

然而，在尝试 VoxResNet、VoxHRNet 和 DenseVNet 时，我们遇到了稳定性问题，包括性能波动和收敛困难。经过进一步分析，我们发现 MONAI UNet 使用了 InstanceNorm3d 和 PReLU。通过相应地修改归一化和激活层，我们实现了更稳定的模型性能。

MONAI UNet 的模型架构如下所示：

下图比较了 5 次实验中带有 InstanceNorm3d 和 PReLU 的 MONAI UNet 与带有 BatchNorm3d 和 ReLU 的训练性能，表明使用 InstanceNorm3d 和 PReLU 可以带来更稳定的训练。

对于最终集成，我们根据公共排行榜得分选择了以下模型：

• UNet3D
• VoxResNet
• VoxHRNet
• SegResNet
• DenseVNet
• UNet2E3D

训练策略

我们的训练配置旨在确保稳定性和最佳性能。我们发现分割掩膜半径、损失函数和数据增强策略在获得可靠结果方面起着至关重要的作用。

分割掩膜：

我们为每个粒子应用了具有自定义半径的 ground truth 掩膜。

训练设置：

Lion 的模型：

• patch size [128, 256, 256] 或 [128, 384, 384]
• 200 epochs
• 7 类
• 优化器：AdamW，学习率 0.001（无学习率调度器）
• Batch size: 2 或 4
• Drop path rate: 0.1 或 0.3
• 基于 F-beta 指标进行模型选择，保存前 5 个最佳模型
• 损失函数：
  • Tversky Loss
  • 交叉熵损失 (Cross-Entropy Loss)，权重为 [1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0]

Luoziqian 的模型：

• patch size [128, 200, 200] 或 [128, 256, 256]
• 100 或 300 epochs
• 6 类
• 早停 (Early stopping)，patience=20
• Batch size: 1 或 2
• 基于评估损失进行模型选择。保存最后 100 个模型并验证其 F-beta 分数
• 损失函数：
  • Dice Loss
  • Tversky Loss
  • 交叉熵损失 (Cross-Entropy Loss)，缩放至 0.05 或 0.1

数据增强：

Lion 的模型：

• RandCropByLabelClassesd， ratios [1, 1, 1, 1, 2, 1, 2] 用于平衡采样
• RandRotate90d
• RandFlipd
• RandAffined
• RandGaussianNoised

Luoziqian 的模型：

• RandCropByLabelClassesd
• RandRotate90d
• RandFlipd
• RandShiftIntensityd

模型性能与 7 次 TTA 总结（部分选择）

集成策略（部分选择）

我们选择公共排行榜得分最好的模型进行最终提交。

后处理（簇移除）

我们使用 CC3D 将分割结果转换为粒子簇，并应用以下策略进行簇选择：

• 基于阈值的聚类（所有类别的阈值设置为 0.15 以提高召回率）
• 簇大小过滤

未产生改进的方法：

• 合成数据
• 第二阶段分类
• 重型模型（基于 Transformer 的模型）

参考文献

Gubins, Ilja, et al. "SHREC 2020: Classification in cryo-electron tomograms." Computers & Graphics 91 (2020): 279-289.