Torch.manual_seed(3407) é tudo o que você precisa. Este artigo mostra que modelos populares de deep learning variam em desempenho com base apenas na semente. Seu melhor modelo pode ser apenas sorte.