第 10 名解决方案总结

感谢组织者和 Kaggle，这是我获得的第二枚个人金牌🏅，这足以让我成为 Kaggle Grandmaster。以下是我解决方案的简要总结。

外部数据

使用 GPT-4O 生成的 7k 外部数据。

召回模型 (Retrievers)

模型：Qwen/Qwen2.5-14B-Instruct, Qwen/Qwen2.5-Coder-14B-Instruct

训练细节：

• 首先使用 7k 额外数据训练 (LoRA)。
• 然后加载 LoRA 权重。
• 最后微调训练数据。

交叉验证 (CV)：使用 5 折训练，然后使用 LoRA 合并。

我总共集成了三个召回模型，包括 14b 5-folds, 14b-coder 5-folds, 和 full 14b 5-folds。训练代码需要在我之前开源的 KDD 代码的一些 Model 类中进行轻微修改。

重排序模型 (Rerankers)

模型：Qwen32b AWQ，使用 LoRA 训练。

方法：对于排序，我使用了多项选择题方法。

输入/输出：输入包含问题和答案，以及前 25 个选项，输出是这 25 个选项的概率。

训练：在训练期间，我只优化了这 25 个字符的概率，使用交叉熵损失函数。

最后，我的排行榜分数仅使用了 LoRA 融合的 5-folds（7k 额外数据 + 训练数据）（LoRA 融合在任何场景下都有效）。

尝试但未成功的方法

蒸馏 (Distillation)：我尝试蒸馏 72b 的内容，但由于离线没有看到改进，所以我没有提交。我可能是错的，毕竟离线验证数据相对有限。

第一名的解决方案让我意识到我当前的解决方案仍有很大的优化空间，但我也相当满意～