É vagamente incrível que o @ft escreva um artigo sobre como os preços atuais de aluguel de GPU sugerem que a IA é uma bolha, mas comete um erro matemático que faz com que todos os seus cálculos estejam errados por um fator de 8 ao confundir a economia por servidor e por GPU.
Fazer as contas corretamente foi na verdade razoavelmente otimista para os “subscalers” e super otimista para os hyperscalers.
O artigo é ironicamente outro indicador positivo para os valores residuais de GPU.
Créditos a @ShanuMathew93 @zephyr_z9 @The_Colonel__ por apontar o erro.
Como @zephyr_z9 e @The_Colonel__ apontaram quando eu citei este círculo, o repórter confunde os custos de ponto de equilíbrio por sistema com as taxas por GPU. Isso é comparar maçãs com laranjas.
Usando os próprios números deles:
Cluster DGX A100 = $199K (~$25K por GPU * 8 GPUs)
Horas ao longo de 5 anos = 5 * 365 * 24 = 43.800
Ponto de equilíbrio = $199K/43.800 horas = ~$4.54 por hora de ponto de equilíbrio do SISTEMA; divida por 8 GPUs para obter a taxa por GPU
$4.54/8 = ~$0.57 taxa de ponto de equilíbrio por hora de GPU
Agora, ao olhar de volta para esses números que traçam as faixas de taxa horária por GPU, você chega a uma conclusão totalmente diferente.
O consumo máximo de energia do sistema DGX A100 é de 6,5kw. Portanto, assumindo 100% de utilização, adicione os custos de energia usando uma suposição = 6,5kw * 10centavos por kW * 43.800 horas = um adicional de ~$29K em termos de opex além do capex. Isso aproxima seu ponto de equilíbrio para ~$0.65 por hora de GPU e ~$5.19 por hora de sistema (8 GPUs).