Torch.manual_seed(3407) es todo lo que necesitas. Este documento muestra cómo los modelos populares de aprendizaje profundo oscilan en rendimiento solo en función de la semilla. Tu mejor modelo podría ser solo cuestión de suerte.