第三名方案
首先，我要感谢组织者和所有团队，并祝贺所有获奖者。
以下是我的方案简要总结：
- 方案概览
- 模型架构
- 训练策略
- 后处理
- 融合策略
- 对我无效的尝试
方案概览
- 文本列 + 类别列
- 各种文本截断方式
- 预截断
- 后截断
- 头 + 尾标记 (https://arxiv.org/abs/1905.05583)
- 为答案分配更长的 max_len
- 以下模型的集成：
- LSTM + Universal Sentence Encoder
- BERT base uncased * 2
- BERT base cased
- BERT large uncased * 2
- BERT large cased * 2
- ALBERT base
- RoBERTa base
- GPT2 base
- XLNet base
模型架构
令人惊讶的是，在某些情况下，堆叠 2 个不带激活函数的线性层比单个线性层效果更好。（我是误打误撞发现的。:P）
以下部分模型还额外包含类别嵌入结构。
LSTM 模型
你可以在这里查看我的 LSTM 代码 这里。
BERT 模型
我使用了 2 种模型架构。
ALBERT 模型
RoBERTa 模型
GPT2 模型