#4 解决方案：多激活分支

首先，我要祝贺 @ambrosm 和 @pourchot 赢得本次比赛！

我要感谢 @ambrosm 提供的 Keras notebook，我在比赛的前几天将其作为参考（尤其是当他添加了交互功能时）。我还要感谢 @mehrankazeminia 提供的混合（blending）notebook，我将其用于最终提交。

遗憾的是，我很快就对比赛失去了兴趣，因为分数都在 0.998 左右，我看不出继续参与竞争的意义。

模型架构

在我的解决方案中，我使用了一个多分支神经网络。在这些分支中，我分别使用了不同的激活函数，我认为这有助于探索特征交互的不同可能性。我想我在这点上是正确的。这是表现最好的单一模型：

公共层使用 Swish 激活函数。
并行分支（分支的所有层使用相同的激活函数）分别使用 swish、selu、relu。

该模型在 Public LB 上的得分为 0.99826，在 Private LB 上的得分为 0.99822。

最终结果

最终解决方案是将我的最佳模型与 @mehrankazeminia 的 notebook 提交文件进行混合，权重为 50-50。最终在 Public LB 上得分为 0.99829，在 Private LB 上得分为 0.99825。