621. LLM 20 Questions | llm-20-questions
由于我是在最后一周才参加这场比赛,所以我只是尝试了一些简单的方法。
我使用 gpt-4o 和 deepseek-chat 作为策略代理,基于公共关键词构建多个语义树。这在强大模型上似乎效果不错,但挑战在于配对的回答模型是随机的……
然后我在开源模型上做了一些实验,比如 llama3/3.1、qwen 及其变体。但结果令人沮丧,与 gpt-4o 和 deepseek 的回答一致性只有 70%~80%,这很可能在多轮提问后导致方向错误。
之后,我只剩下两天时间了。所以我尝试借鉴社区的一些想法,遇到了 AgentAlpha。与任何基于 LLM 的方法相比,它的胜率要高得多,但也需要相当数量的 Kaggle 参赛者选择它。无论如何,握手只需要一轮,所以我认为这是个不错的交易。然后我使用 deepseek-chat(比 gpt-4o 便宜得多)基于公共关键词生成了 3 万个相似关键词,作为 agent alpha 的关键词池。
当 Agent Alpha 不可用时,我首先使用预定义的问题序列(来自初始想法),然后利用 CoT-SC 代理(自一致性思维链代理)生成问题。
仍有很多优化空间,例如使用 WIKI 或其他知识库扩展关键词列表,或进行一些过滤,并使用 vllm 加速模型以进行更彻底的推理和投票。由于速度原因,没有 CoT 就直接猜词了……
感谢 Kaggle 举办这次比赛。很有趣,我期待未来能有更多这样的比赛。