Loading...
永远不要在正式使用 AMP (GradScaler) 训练时开启 set_detect_anomaly(...
1、参考MixFormer的vis-attn即可。使用hook钩子出attn矩阵(一般是dropout层...