返回列表

Private 22nd Place solution

446. CommonLit Readability Prize | commonlitreadabilityprize

开始: 2021-05-03 结束: 2021-08-02 智能评测 数据算法赛
Private 22nd Place solution

致谢

首先,感谢竞赛主办方举办这次比赛。
此外,我要感谢 @rhtsingh 分享了很多优秀的 notebook 和讨论。如果没有你,我无法获得这个排名,我也从你那里学到了很多微调 BERT 模型的方法!

总结

我有三个选项(如下所示),最后我选择了前两个进行最终提交。

  • LB 最佳 (9个模型, CV: 0.4449, LB: 0.444, Private LB: 0.452)
  • CV 最佳(排除 base-model)(9个模型, CV: 0.4430, LB: 0.447, Private LB: 0.452)
  • CV 最佳 (12个模型, CV: 0.4420, LB: 0.453, Private LB: 0.452)

LB 最佳方案的详细信息如下表所示:

LB-Best

模型 CV(5折) 权重 Public Private 其他
luke-large0.47950.08770.467?
roberta-large0.46930.10350.4640.469
gpt2-medium0.4810.1580.4690.482
funnel-large-base0.47060.14550.4610.47
funnel-large0.47050.02670.460.467
ernie-large0.47120.0930.4630.477
deberta-large0.4750.16930.4640.467
mpnet-base0.47820.14150.4660.474
gpt2-large0.47440.11210.4680.48batch_size=4
coef-0.0235-

CV-Best

模型 CV(5折) 权重 Public Private 其他
electra-large0.47430.08290.4740.479
funnel-large0.47520.12150.4670.474
deberta-large(1)0.47380.15160.470.463
gpt2-medium0.47