第3名方案：Muril-Large + Magic

首先，我要感谢 Kaggle 和比赛主办方举办这场挑战赛。获得第三名对我来说是个惊喜，我完全没有预料到，因为我的公开排行榜（Public LB）分数并不高。Muril 是我的全部。我发现 xlm-r 在 SQuAD 2.0 数据集上进行微调效率更高，所以我尝试用类似的方法处理 muril-large。

数据

• 比赛数据，MLQA，XQUAD，SQuAD v2

微调脚本

• 在 SQuAD 2.0 上微调 Muril 的脚本

模型检查点

• Muril-Large-Squad-v2 检查点

微调参数

我每个折（fold）只微调了 2 个 epochs。

• MuRIL Large 10 折交叉验证：max-length=384, doc_stride=128, lr=1e-5, gradient accumulation=1

模型集成

• 10 个折的简单平均