Torch.manual_seed(3407) es todo lo que necesitas. Este documento muestra que los modelos populares de aprendizaje profundo oscilan en el rendimiento basándose solo en la semilla. Tu mejor modelo podría ser la suerte.