公共榜第3名，私有榜第6名：大型预训练模型就是你需要的一切！
作者：yang_zhou | 发布时间：2024-01-04 | 公共榜排名：第3名 | 私有榜排名：第6名
大家好，我来分享我们的解决方案！我们只使用了iBOT-ViT-Base最简单的预训练权重。非常感谢这个优秀的工作！项目地址：iBOT-ViT。具体来说，我们的算法包含五个步骤：
- 对WSL图像（或TMA图像）进行分块，每张图像随机选择1000个图像块（如果不够则复制）；
- 使用预训练模型提取特征，每张图像的特征维度为1000×768；
- 训练一个MIL（多实例学习）模型，使用iBOT-ViT方法中推荐的chowder模型 Chowder；
- 模型集成（使用7个不同的训练好的chowder模型），并使用平均熵（E=-∑p·logp）检测"其他"类别；
- 调整"其他"类别的阈值。
一些经验：
- 我们发现图像块的选择对性能有重要影响，但我们仍使用最简单的随机选择。最近的工作：PathDINO 提出了快速的图像块选择方法，但我们并未获得提升。
- 深度集成和通过熵进行的不确定性估计帮助我们在公共数据集上从0.59提升到0.65，但似乎并没有带来额外奖励😔
- 我们的源代码：UBC_Challenge
欢迎任何想法或讨论！