446. CommonLit Readability Prize | commonlitreadabilityprize
首先,感谢竞赛主办方举办这次比赛。
此外,我要感谢 @rhtsingh 分享了很多优秀的 notebook 和讨论。如果没有你,我无法获得这个排名,我也从你那里学到了很多微调 BERT 模型的方法!
我有三个选项(如下所示),最后我选择了前两个进行最终提交。
LB 最佳方案的详细信息如下表所示:
| 模型 | CV(5折) | 权重 | Public | Private | 其他 |
|---|---|---|---|---|---|
| luke-large | 0.4795 | 0.0877 | 0.467 | ? | |
| roberta-large | 0.4693 | 0.1035 | 0.464 | 0.469 | |
| gpt2-medium | 0.481 | 0.158 | 0.469 | 0.482 | |
| funnel-large-base | 0.4706 | 0.1455 | 0.461 | 0.47 | |
| funnel-large | 0.4705 | 0.0267 | 0.46 | 0.467 | |
| ernie-large | 0.4712 | 0.093 | 0.463 | 0.477 | |
| deberta-large | 0.475 | 0.1693 | 0.464 | 0.467 | |
| mpnet-base | 0.4782 | 0.1415 | 0.466 | 0.474 | |
| gpt2-large | 0.4744 | 0.1121 | 0.468 | 0.48 | batch_size=4 |
| coef | - | 0.0235 | - |
| 模型 | CV(5折) | 权重 | Public | Private | 其他 |
|---|---|---|---|---|---|
| electra-large | 0.4743 | 0.0829 | 0.474 | 0.479 | |
| funnel-large | 0.4752 | 0.1215 | 0.467 | 0.474 | |
| deberta-large(1) | 0.4738 | 0.1516 | 0.47 | 0.463 | |
| gpt2-medium | 0.47 |