返回列表

斩获第四名!多智能体协同破解“金融文件迷宫”,可拓展合规自动化全场景

AFAC2025挑战组-赛题二:金融保险场景下多源文件长上下文一致性校验 | 532351

开始: 2025-07-23 结束: 2025-07-31 保险科技 数据算法赛

斩获第四名!多智能体协同破解“金融文件迷宫”,可拓展合规自动化全场景

封面图片

AFAC2026

在小说阅读器中沉浸阅读

团队现场照片

蛋木团队在AFAC大赛 路演现场

获奖团队:蛋木

作者:孙若晗 谭坤奇 赵承杰

本团队获得AFAC2025大赛挑战组 赛题二:金融保险场景下多源文件长上下文一致性校验 第四名。

我们是来自四川大学网络空间安全学院的学生,日常研究方向为源代码漏洞检测。日常兴趣有骑车、打麻将等。在两个月紧张的比赛过程中,我们团队在探索不同方案实现的过程中深入学习了大模型并将其成功应用,我们十分有成就感。

在这里感谢赛事组,感谢一路以来团队内的互相扶持,更感谢我们的父母以及身边的朋友们!

蛋木团队在AFAC大赛总决赛的路演视频(视频链接暂无)

解题思路

随着保险业务数字化推进,传统人工校验难以应对长文本上下文一致性核验需求,且效率低、误差高。多源文件一致性校验的核心是解决 “规则理解模糊”“长文本处理受限”“冲突误判” 三大痛点,本质是结合数据预处理与智能 Agent 协同的自然语言处理任务。鉴于大语言模型(LLM)在语义理解与逻辑推理的优势,以及多 Agent 架构在任务解耦上的灵活性,我们构建了 “数据预处理→特征提取迭代→Multi‑Agent 冲突检测” 的全流程方案,实现保险文件一致性校验的自动化与高精度。

解决框架

依托 “数据标准化→任务解耦→分层校验” 的核心逻辑,我们先通过脚本工具完成文本清洗与智能分块,以适应 LLM 上下文窗口限制。然后将 “相关性标记” 与 “冲突审计” 拆分为独立子任务,通过 “文本相关性标记智能体→冲突检测智能体→冲突审查智能体→相关性仲裁智能体” 四级协同,既保证冲突检测的全面性,又过滤伪冲突与无关冲突,实现效率与精度的平衡。

要点解析

1 数据预处理

  • 数据集的保险文本存在三大问题:行首尾空白、内部空格混乱、空行冗余,且单文档长度可能超 LLM 处理上限(如 “责任免除” 条款常为大段文本)。

2 规则理解与信息提取

  • 规则模糊问题:初始泛化规则(如 “产品名”“销售限制”)缺乏明确释义,LLM 易混淆相似规则,无法精准定位相关文本。

3 冲突检测关键原则

  • 冲突检测需区分 “事实性矛盾”(如等待期 30 天 vs 90 天)、“信息完整度差异”(如 A 文档提犹豫期,B 文档未提)、“无关冲突”(冲突属于其他规则范畴)。

方案实现

1 总体实现流程

  1. 数据预处理模块
    • 文本标准化清洗:通过 process_files.py 调用 md_cleaner.py 功能,对所有 .md 分块文件执行 “去空白→规范空格→删空行” 操作,输出格式统一的文本。
    • 智能分块与分组:通过 file_chunk_processor.py,按文档类型(条款 / 投保须知等)递归遍历材料包,按段落分块;对超 2000 Token 的段落,优先按句子结束符/换行符切分,单个句子超长时按字符比例硬分割,为每个分块附加元数据。
  2. 特征提取迭代模块
    • 起初通过 RuleExtractorTool 获取匹配规则,将 “文档内容 + 规则 + 赛题释义” 组合为 Prompt,让 LLM 直接输出特征切片,这存在规则理解模糊、提取内容缺失问题。
    • 于是引入 rule.md 知识库与 RuleDefinitionFinderTool,补充规则释义与案例;Agent 仅输出定位关键词,TextSlicerTool 执行文本提取;针对关键词匹配失效问题,设计“减半匹配”(关键词匹配不到时取前半段,直至 <5 字符)与“行号记录”(避免重复提取)优化。
  3. Multi‑Agent 冲突检测模块
    • 相关性标记智能体:以材料包为单元,调用 RuleExtractorTool 与 RuleDefinitionFinderTool 获取规则信息,强制输出 JSON 格式的相关性标记(True/False),结果写入 relevance_marks.json。
    • 冲突检测智能体:接收相关文本对,结合 “规则核心概念 + 权威定义 + Few‑shot 示例”(构建 fewshot.md,含 “有冲突 / 无冲突” 案例)执行比对,生成冲突理由并提交审查。
    • 冲突审查智能体:仅在一级上报冲突时激活,判断冲突为 “事实性矛盾”(移交三级)或 “信息完整度差异”(驳回)。
    • 相关性仲裁智能体:重新查询规则权威定义,比对 “已核实矛盾” 与 “规则范畴”,输出最终裁决,若为真冲突则中止该规则检测,节省资源。

主要技术

Function Calling 编排:特征提取 Agent 与 Multi‑Agent 均通过 Function Calling 调用外部工具,实现 “规则获取→信息定位→冲突判断” 的流程化执行。

Few‑shot 学习:为冲突检测智能体提供领域内判例示例,将泛化文本比对转化为 “有标准参照” 的审计任务,校准模型判断逻辑,提升初步检测精度。

场景应用

金融保险领域的多源文件一致性校验是合规审计的核心环节,可广泛应用于三大场景:

  • 产品上线前审核:校验保险条款、投保须知、健康告知等文件中 “赔付比例、等待期、责任免除” 等关键规则的一致性,避免因文件矛盾导致用户投诉或合规风险。
  • 存量文件复盘:对历史保险产品的多版本文档进行批量校验,快速定位因迭代导致的规则差异,降低人工复盘的时间成本。
  • 跨渠道文件核验:针对同一保险产品在官网、APP、线下纸质档等不同渠道的文件,校验核心规则表述一致性,保障用户获取信息的准确性。

此外,该方案的 “数据预处理→任务解耦→分层校验” 逻辑可迁移至其他领域(如金融合同审核、法律文书比对),只需替换领域知识库(如将 rule.md 改为 “合同条款知识库”)与工具,即可实现同类长文本一致性校验需求,具备较强的通用性与落地价值。

图13

图14

落地展望

我们的方案可广泛应用于金融保险行业的合规自动化场景。通过构建多智能体协同的自动化核验系统,可高效进行多源长文档的一致性校验,显著提升产品审查、存量文件复盘及跨渠道文件核验的效率和准确性。

该系统能够有效识别长文本中存在的不一致性,并且系统会给出判断理由辅助相关人员判断,大幅降低人工核验成本与合规风险。

此外,该框架具备较强的可迁移性,只需适配领域知识库,即可扩展至金融合同、法律文书等长文本一致性核查场景,具有明确的落地前景和行业应用价值。

同比赛其他方案