返回列表

39th solution

641. LLMs - You Cant Please Them All | llms-you-cant-please-them-all

开始: 2024-12-03 结束: 2025-03-04 AI安全与对抗 数据算法赛
第 39 名解决方案 - Jiri Prudky

第 39 名解决方案

作者: Jiri Prudky
发布日期: 2025 年 3 月 5 日
竞赛排名: 第 39 名

在此查看我的最终笔记本:https://www.kaggle.com/code/jiprud/42th-27-085-essays

我的提交基于我的简单提交笔记本:https://www.kaggle.com/code/jiprud/essays-simple-submission

从我的公开笔记本到最终笔记本的路径如下:

  • 我添加了第三种攻击方式,分别针对每个模型。
  • 在无数次尝试通过调整提示词来找到完美攻击后,我将注意力转向了随机词列表。
  • 主要有三类词表现出偏差(即导致评分不稳定):正面词、负面词和与写作相关的词。
  • 除了这些类别外,我的测试表明,每个模型(和每个提示词)都对某些不属于特定类别的特定词敏感。
  • 我从原始列表中消除了所有这些词,使我的提示词更稳定(尽管不是 100%)。
  • 除了清理词列表外,我还在提示词中使用了特定的词集,以利用它们的偏差潜力。
  • 这种文字游戏带来了我的最终改进:对于其中一种攻击(在笔记本中我称之为 choices_2),我从实验中生成了表现最佳的完整提示词列表,然后将它们用于提交。

感谢所有参与并分享想法的人。
这是我的第一枚 Kaggle 奖牌,不得不说,这对我来说是一次非常愉快和有趣的经历!

同比赛其他方案