Estou convencido de tentar o mais rápido possível, todos nós devemos tentar fp16, olhe para este homem enredo. FP16 é como perfeito na redução de erros. "É precisamente por isso que mudar para o FP16 fornece uma solução fundamental. Com seus 10 bits de mantissa, o FP16 oferece 8 vezes mais precisão (2^10 valores vs. 2^7 valores) do que o BF16. Essa maior fidelidade significa que as saídas dos mecanismos de treinamento e inferência têm muito mais probabilidade de serem numericamente idênticas. A maior precisão cria um buffer que absorve as pequenas diferenças de implementação entre os dois mecanismos, evitando que erros de arredondamento se acumulem e causem uma divergência de política. Para o ajuste fino de RL, a faixa dinâmica dos pesos e ativações do modelo já foi estabelecida durante o pré-treinamento. Portanto, o alcance extremo do BF16 é menos crítico, enquanto a precisão que ele sacrifica se torna uma desvantagem dominante. Ao reverter para o FP16, trocamos o intervalo desnecessário do BF16 pela precisão crítica, fechando efetivamente a lacuna entre o treinamento e a inferência sem qualquer solução algorítmica ou de engenharia complexa.

palavra-chave "experimente", muitas coisas podem atrapalhar o dimensionamento disso, mas às vezes as coisas funcionam assim. Sem panacéias, mas às vezes vitórias fáceis.

Aposto que varia muito de acordo com o modelo e outros detalhes impl

Tornando-se menos convencido com o tempo, basta seguir @finbarrtimbers