第17名解决方案（银牌）

衷心感谢所有参赛者，这是一场激动人心的竞赛！

特别感谢 @rsmits 和 @seungmoklee 提供的LSTM解决方案笔记，它们帮助我理解了这个问题可能采用的解决方法。

我们的解决方案是两种类型模型的集成：

1. 5个LSTM模型的集成，用于分类任务预测角度区间

我们尝试了不同的网络架构。结果表明LSTM在此任务中表现优于GRU，不过其中一个模型采用了3层LSTM加2层GRU的组合，效果同样出色。我们使用了指数学习率调度，带来了轻微的性能提升，而余弦退火学习率在我们这里效果不佳。模型使用200-300个文件进行训练。我曾尝试使用400-600个文件，但训练速度显著变慢且分数提升缓慢。由于临近截止日期，使用200-300个文件更加"高效"。我们也尝试过直接预测XYZ向量再转换为角度，使用MSE和vMF损失函数，但效果不如预测角度区间的方法。

2. DynEdge图网络（最佳提交中包含5-7个此类模型），仅使用vMF3d损失预测XYZ向量（与基线方法相同）

基本保持原始实现不变，仅用200个文件训练模型。我们尝试了不同长度的脉冲序列：从96到200。更长的脉冲序列带来更好的结果。在截止日期前我们完成了约20个epoch的训练，如果时间更充裕，效果还能进一步提升。

在集成过程中，我们使用不同的权重组合来预测方位角和天顶角，这些权重在验证集上确定。

每个图网络模型推理耗时约30分钟。LSTM集成需要约2小时，在私有排行榜上达到0.999分。我们未测试纯图网络集成的排行榜得分，但最佳单模型约为1.006分。混合这两种模型类型带来了显著提升（私有排行榜0.987分）。

其他思考：

• 图网络是个很酷的技术，但在我们的任务中感觉还有优化空间。它训练效果良好，但在若干epoch后损失开始缓慢上升。本可以尝试不同的学习率调度策略，但最后时间有限。
• 我们还尝试了Transformer模型，使用MSE/vMF损失预测XYZ向量。最初我坚信它能在竞赛中拔得头筹，但不知为何未能超越LSTM的性能。可能是我选择的架构参数不佳（这是我首次尝试），或许需要额外的技术手段和不同的损失函数来发挥其潜力。
• 模型集成带来了显著提升。我认为当前模型仍不够鲁棒，在许多情况下预测置信度不足。