Now You See Me: 第7名解决方案

非常感谢主办方和Kaggle举办这场有趣的比赛，同时祝贺获奖者。
我们的解决方案是团队共同努力的成果。
感谢 @crodoc @thedrcat @ivanaerlic @tascj0 组队参与。

摘要

我们的解决方案是基于多个Transformer模型的集成，这些模型将完整的文章（包括特殊标记）或文章中所有话语文本的拼接作为输入。
我们解决方案的关键点在于强大的MLM预训练以及在以往比赛数据上进行的软伪标签。我们的MLM流程总是强制掩盖并预测特殊标记，这对于检测跨度边界非常重要。

交叉验证

在交叉验证中，我们在话语有效性和主题聚类上使用了MultilabelStratifiedKFold，以便对文章进行有效分割。

这些折非常稳定，CV与LB的相关性很好。
我们的大多数融合提交在私有和公开LB得分上都是相同的。

建模

总体而言，我们采用了标记分类的方法。
我们的主要建模方法的输入如下：

[CLS] [cls_lead] 嗨，我是Isaac，我要写的是关于火星上的这张脸是天然地貌还是火星上的生命制造的。故事讲的是NASA拍了一张火星的照片，在星球上看到了一张脸。NASA不知道这个地貌是由火星上的生命创造的，还是仅仅是一个天然地貌。[end_lead] [cls_position] 在我看来，我认为这张脸是一个天然地貌，因为我不认为火星上有任何生命。在接下来的几段中，我将谈论为什么我认为这是一个天然地貌 [end_position].....[SEP]

我们将此样本输入主干网络，并为每个话语文本提取CLS嵌入或CLS与结束标记之间的平均池化。
对我们来说，CLS嵌入的效果优于平均池化。

模型主干

• DeBERTa-Large
• DeBERTa-XLarge
• DeBERTa-V3-Large

有效方法

• 预训练 MLM
• 软伪标签
• 对抗权重扰动 (AWP)
• 随机权重平均 (SWA)
• 移除 Dropout
• 随机掩码增强

效率解决方案

我们最好的单模型得分为0.562，推理时间为8分钟。
这个单模型在效率赛道获得了第2名，并且在准确率赛道也能达到金牌分数。
遗憾的是，该模型未包含在最终提交的准确率融合模型中。
请参阅这篇文章以了解我们的效率解决方案。