第 30 名解决方案 - 仅基于公开 Notebook（公开榜第 35 名）

感谢优秀的公开 Notebook，我从中学到了很多。

我对公开 Notebook 做了简单的修改，取得了第 30 名的成绩。

召回阶段 (Recall stage):

参考：https://www.kaggle.com/competitions/eedi-mining-misconceptions-in-mathematics/discussion/543519

我使用 FlagEmbedding 微调了 qwen2.5-14b，使用未微调的 SFR-Embedding-2_R 作为种子模型，获取了 100 个负样本实例，epoch=20。
推理阶段，我使用了 load_in_8bit。

重排序阶段 (Rerank stage):

我实际上没有运行这部分代码。

logits_processor_zoo + logit_score_rerank

参考：

• https://www.kaggle.com/code/aerdem4/eedi-qwen32b-vllm-with-logits-processor-zoo
• https://www.kaggle.com/competitions/eedi-mining-misconceptions-in-mathematics/discussion/550223

我使用 accelerate+qlora 微调了 qwen-72B [使用 LLaMA-Factory]，然后使用 GPTQ 对其进行量化，以更好地适应 9 选 1 任务。微调带来了性能提升。

与使用 logits_processor_zoo 获取最高概率候选者的公开 Notebook 不同，我在 vllm.SamplingParams 中添加了 logprobs 参数，以获取选项 1 到 9 的 logits，然后进行组内排序，这也增强了结果。

完整的推理代码如下：

提示： 合成数据提高了我的召回分数，但整体分数没有提高，所以我最终没有提交带有合成数据的版本。这应该是由于我的合成数据质量不足。