Tree + NN 模型方案：PB 176 LB 185

https://www.kaggle.com/code/goldenlock/tree-withnn-multimodal-pb176?scriptVersionId=195993365
我稍后可能会发布包含完整代码的简化版本，目前你可以在 isic-2024-code 数据集中找到代码。
注意：后期提交的结果并不意味着什么，因为我会过拟合公共排行榜 (PB) 来选择模型，但它仍然可以帮助我们学习。

1. LGB 配合分组特征
   • 按患者分组
   • 按患者 + 位置分组 (loc, simple loc, general site)
   • 排名特征包括 zscore, 0-1 minmax score, group rank score
   • 移除 attribution 并使用 region 代替（澳大利亚的未知医院）
     仅元数据的 LGB 可获得 PB 165, LB 177, CV 1751 (单一模型 lgb only, 10 折)
     https://www.kaggle.com/code/goldenlock/tree-metaonly?scriptVersionId=195834418
2. 仅图像的 NN 模型
   使用 efficientnet_b1，带有 target, iddx_2, iddx_3, iddx_4 的多 softmax 目标。并且也使用 iddx_2 分割负样本。
   仅 NN 模型可获得 PB 153, LB 161, CV 15843 (单一模型，10 折)
   https://www.kaggle.com/code/goldenlock/imgonly?scriptVersionId=195850404
3. LGB 使用 NN 模型预测作为特征
   https://www.kaggle.com/code/goldenlock/tree-withnn?scriptVersionId=195864320
   PB 173, LB 185, CV 1816 (单一模型 10 折，图像模型也是单一模型 10 折)
4. 使用点积池化的元数据 NN 模型
   与 LGB 模型相同的特征，但使用 NN 端到端训练。
   https://www.kaggle.com/competitions/isic-2024-challenge/discussion/532570
   https://www.kaggle.com/code/goldenlock/multimodal-pb172?scriptVersionId=195819415
   PB 172, LB 178, CV 17889 (单一模型 10 折)
5. LGB 和 NN 的集成
   权重均为 1
   https://www.kaggle.com/code/goldenlock/tree-withnn-multimodal?scriptVersionId=195885581
   PB 175, LB 185, CV 18239
6. 更多集成
   • 仅图像模型：effnet_b1 和 caformer_s18
   • 图像元数据模型：2 个点积池化模型，其中一个对每个非类别特征使用 bin embedding，具有更高的 CV 180
   PB 176, LB 185
   https://www.kaggle.com/code/goldenlock/tree-withnn-multimodal-pb176?scriptVersionId=195993365