519. Feedback Prize - English Language Learning | feedback-prize-english-language-learning
非常感谢 Kaggle 和竞赛主办方组织了精彩的反馈系列赛！我们在比赛中学到了很多，尤其喜欢 Feedback 2 和 3 中增加的效率赛道。我们期待参加未来的比赛！
祝贺我们的队友 @syhens 成为 Kaggle 竞赛大师！这是非常应得的荣誉，在多次与金牌擦肩而过后，这显得格外特别！
我们的解决方案专注于构建一组多样化的模型，以促进更好的集成性能。为此，我们训练了以下最终用于集成的模型。实际进行的实验要多得多 :)
| 模型 | 骨干网络 | 训练方法 | 伪标签 (PL) | CV | PB |
|---|---|---|---|---|---|
| exp009a | deberta-v3-large | PET | 是, 10k 随机样本 | 0.4464 | 0.4374 |
| exp022b | deberta-v3-large | 关键词 | 是, 4k 最小距离样本 | 0.4444 | 0.4382 |
| exp024 | deberta-v3-large | 多尺度 | 否 | 0.4493 | 0.4399 |
| exp024a | deberta-v3-large | 多尺度, MSE + 排序损失 | 否 | 0.4484 | 0.4424 |
| exp026b | deberta-v3-large | 冻结 + 重初始化 | 是, 4k 随机样本 | 0.4447 | 0.4373 |
| exp027 | deberta-v3-large | SETFIT | 否 | 0.4470 | 0.4371 |
| exp030 | deberta-v3-small | MSE + 排序损失 | 是, 4k 最小距离样本 | 0.4490 | 0.4396 |
| exp120 | deberta-v3-small | 2阶段 PL + 损失函数 | 是 | 0.4586 | 0.4467 |
| exp121 | luke-large | 同上 | 是 | 0.4567 | 0.4462 |
| exp132 | roberta-large | 同上 | 是 | 0.4492 | 0.4438 |
| exp203b | deberta-large | 提示 + Smooth L1 损失 | 是, 4k 最小距离样本 | 0.448 | 0.4380 |
| exp207a | deberta-v3-large | PET | 是, 4k 最小距离样本 | 0.4468 | 0.4381 |
| exp208 | deberta-large | 提示 + Smooth L1 损失 | 是, 4k 最小距离样本 |