Estou convencido a experimentar isso o mais rápido possível, todos devemos tentar fp16, olhe para este gráfico, cara. FP16 é como perfeito na redução de erros. "É precisamente por isso que mudar para FP16 fornece uma solução fundamental. Com seus 10 bits de mantissa, FP16 oferece 8 vezes mais precisão (2^10 valores vs. 2^7 valores) do que BF16. Essa maior fidelidade significa que as saídas dos motores de treinamento e inferência são muito mais propensas a serem numericamente idênticas. A precisão aumentada cria um buffer que absorve as pequenas diferenças de implementação entre os dois motores, evitando que erros de arredondamento se acumulem e causem uma divergência de políticas. Para o ajuste fino de RL, a faixa dinâmica dos pesos e ativações do modelo já foi estabelecida durante o pré-treinamento. Portanto, a faixa extrema de BF16 é menos crítica, enquanto a precisão que sacrifica se torna uma desvantagem dominante. Ao voltar para FP16, trocamos a faixa desnecessária de BF16 pela precisão crítica, efetivamente fechando a lacuna entre treinamento e inferência sem qualquer solução algorítmica ou de engenharia complexa."

a palavra-chave "tente" isso, muitas coisas podem atrapalhar a escalabilidade disto, mas às vezes as coisas funcionam assim. Não há panaceias, mas às vezes há vitórias fáceis.

aposto que varia bastante dependendo do modelo e de outros detalhes de implementação

tornando-se menos convencido ao longo do tempo, apenas siga @finbarrtimbers