第34名方案：关键点

感谢 Coleridge Initiative 和 Kaggle 组织了如此激动人心的比赛。祝贺所有的获胜者！

1. 我的解决方案基于比赛早期由 @tungmphung 发布的 BERT MLM 模型。该模型已在排行榜上被引用。
2. 它经受住了最后排行榜的震动（排名上升了25位）。
3. 所有使用的数据集/预训练模型均按照规定在比赛截止日期前公开。
4. 我受到了9小时内核训练时间限制的影响。如果能以某种方式规避这一点，我会获得更好的成绩（更多的训练轮次，更逼真的模型）。
5. 我使用了由 @mlconsult 发布的外部数据集。它极大地提高了我的公开分数，并且对我的私有分数没有产生不利影响。我通过选择一份包含此数据的提交和一份不包含此数据的提交作为我的2份最终提交来验证这一点，结果几乎相同（0.372 和 0.373）。
6. 我期待继续参与这项倡议。非常感谢！！