Team Hydrogen: 第一名解决方案

非常感谢主办方和 Kaggle 举办这场有趣的比赛，我们在准确率和效率两个赛道都玩得很开心。同时也要祝贺所有其他参赛者带来的精彩方案和结果。我们的解决方案是完美团队合作的成果。

摘要

我们的解决方案基于两阶段方法，集成了多种基于 Transformer 的模型，并在其上添加了第二层模型。此外，我们还采用了多轮伪标签技术，并以不同的方式将伪标签添加到我们的模型中。

交叉验证

在整个比赛过程中，我们的 CV（交叉验证）和 LB（排行榜）之间具有近乎完美的相关性。每当我们看到 CV 有所改善时，我们都会在 LB 上看到类似的反映，且随机波动范围非常小。为了划分折叠，我们只是对文章进行了效率分层分割。

由于数据量为中小型且评估指标是对数损失，不同运行之间的分数可能会有所波动。这对于深度学习模型来说很典型，因为它们相当依赖于手中的随机种子，这会影响权重初始化、批处理或数据增强。然而，这意味着不应根据单一种子来判断模型性能，最好总是在多个种子上进行评估。

鉴于模型训练速度相当快，我们因此仅依赖检查每个模型的 3 个种子的混合结果。此外，单一模型的分数与其融入大型集成的能力在这里并没有很好的相关性。因此，一个更好的独立模型在混合中可能会有更差的性能，多样性在这里真的很重要。因此，我们也总是在混合中检查模型，即使它们单独看起来不太有希望。与我们检查 CV 的方式类似，我们总是提交在完整数据上训练的模型的 3 个种子的混合结果。

我们的相关性如下所示：

建模

我们的最终方案是不同建模方法的结合。其中大多数基于同时训练单篇文章中所有话语的想法。这不仅使训练和推理速度大大提高，而且显著提高了准确性。在下文中，我们将详细描述我们的主要方法。对于骨干网络，我们只成功使用了 deberta-(v3)-large。其他骨干网络未能改善集成效果。

文章组模型

这种方法的主要思想是将整篇文章输入模型，分别池化每个话语，然后将其通过最后的线性层进行预测。这里的主要方法与其他人分享的类似，但有一些特殊之处和不同的子方法。

我们的主要版本输入如下：

Lead Position Claim Evidence Counterclaim Rebuttal Evidence Counterclaim Concluding Statement [SEP]  [START] Hi, i'm Isaac, i'm going to be writing about how this face on Mars is a natural landform or if there is life on Mars that made it. The story is about how NASA took a picture of Mars and a face was seen on the planet. NASA doesn't know if the landform was created by life on Mars, or if it is just a natural landform. [END]   [START] On my perspective, I think that the face is a natural landform because I dont think that there is any life on Mars. In these next few paragraphs, I'll be talking about how I think that is is a natural landform [END] … more text follows here

如前所述，一个样本包含一篇文章。我们首先添加文章中所有话语类型的列表，并用 SEP 标记分隔，然后我们用自定义的 START 和 END 标记标记各个话语。然后我们通过骨干网络运行此样本，并在 START 和 END 标记之间为每个话语进行池化。输入批次大小始终为 1，这会根据文章内话语的数量转换为相应的批次大小。这些池化后的嵌入随后通过最后的线性层预测类别。

你可以看到，在这个例子中我们没有特别为每个话语添加类型，但我们使用了一个额外的辅助损失来预测每个话语的类型。这有助于正则化模型并允许稍长的训练时间。

另一个子方法没有这个辅助损失，并基于以下输入训练模型：

Lead Position Claim Evidence Counterclaim Rebuttal Evidence Counterclaim Concluding Statement [SEP]  [START_Lead]  Hi, i'm Isaac, i'm going to be writing about how this face on Mars is a natural landform or if there is life on Mars that made it. The story is about how NASA took a picture of Mars and a face was seen on the planet. NASA doesn't know if the landform was created by life on Mars, or if it is just a natural landform. [END_Lead]   [START_Position]  On my perspective, I think that the face is a natural landform because I dont think that there is any life on Mars. In these next few paragraphs, I'll be talking about how I think that is is a natural landform [END_Position]  … more text follows here

虽然后一种方法在 CV 上单独表现更好，但前一种方法在我们的庞大集成中混合效果明显更好。

Token 分类

在这种方法中，文章的块