返回列表

[20th] A simple solution, attempts and thinking.

621. LLM 20 Questions | llm-20-questions

开始: 2024-05-15 结束: 2024-08-29 自然语言处理 AI大模型赛
[第 20 名] 一个简单的解决方案,尝试与思考
作者: KKY (MASTER)
发布时间: 2024-08-30
竞赛排名: 第 20 名

[第 20 名] 一个简单的解决方案,尝试与思考

由于我是在最后一周才参加这场比赛,所以我只是尝试了一些简单的方法。

结果

  • 代理 1 得分 1006
  • 代理 2 得分 934

初始想法:语义二分搜索

我使用 gpt-4o 和 deepseek-chat 作为策略代理,基于公共关键词构建多个语义树。这在强大模型上似乎效果不错,但挑战在于配对的回答模型是随机的……

然后我在开源模型上做了一些实验,比如 llama3/3.1、qwen 及其变体。但结果令人沮丧,与 gpt-4o 和 deepseek 的回答一致性只有 70%~80%,这很可能在多轮提问后导致方向错误。

最终方法

Agent Alpha

之后,我只剩下两天时间了。所以我尝试借鉴社区的一些想法,遇到了 AgentAlpha。与任何基于 LLM 的方法相比,它的胜率要高得多,但也需要相当数量的 Kaggle 参赛者选择它。无论如何,握手只需要一轮,所以我认为这是个不错的交易。然后我使用 deepseek-chat(比 gpt-4o 便宜得多)基于公共关键词生成了 3 万个相似关键词,作为 agent alpha 的关键词池。

预定义问题和 CoT-SC

当 Agent Alpha 不可用时,我首先使用预定义的问题序列(来自初始想法),然后利用 CoT-SC 代理(自一致性思维链代理)生成问题。

仍有很多优化空间,例如使用 WIKI 或其他知识库扩展关键词列表,或进行一些过滤,并使用 vllm 加速模型以进行更彻底的推理和投票。由于速度原因,没有 CoT 就直接猜词了……

感谢 Kaggle 举办这次比赛。很有趣,我期待未来能有更多这样的比赛。

同比赛其他方案