🏅 最佳单模型 🏅

我想知道周围最好的单模型有哪些。

从各种总结文章来看，大多数人的 XLM-R 模型得分似乎在 0.942* 左右，并且严重依赖模型集成、后处理和其他技巧（这并不是要贬低他们惊人的成就）。

无论如何，我想分享一个使用了伪标签和知识蒸馏技术的单模型（包含权重和代码），它的 LB 得分为 0.9475（在应用了来自 @christofhenkel 的硬编码乘数后达到了 0.9487，感谢！）。

不幸的是，我们没能像其他人那样成功进行集成，也没有事先探索语言修饰符。对于第一次接触 NLP 的我来说，这次比赛是一次非常棒的学习经历 :D

对我来说，主要的收获是过度依赖伪标签似乎让模型融合变得更加困难（知识蒸馏似乎加剧了这个问题）。我花了很长时间才意识到这一点，但这为接下来的比赛吸取了教训。等我有更多时间时，我会扩展我的报告，但请告诉我您的想法！（如果可以的话，请分享您的模型）

干杯！