Uma entrevista realmente perspicaz com um ex-funcionário da $ORCL sobre a implantação de GPUs $NVDA e a economia por trás disso: 1. Em sua experiência, os benchmarks que $NVDA fornece são muito generosos consigo mesmos. Ele menciona que até tinha experiência em que eles estavam errados em 40%. Geralmente, a maioria dos negócios de GPU de computação no momento são negócios de longo prazo com grandes descontos. 2. Ele tinha centenas de milhares de GPUs e clusters, e 15% de sua frota a qualquer momento estava inativa. Ao pedir peças sobressalentes a $NVDA, ele não entendeu e não pôde dizer nada porque eles cortariam sua alocação. Ele menciona que $NVDA está mantendo muitos dos clientes como reféns com a fila para capacidade futura. A razão pela qual 15% da frota estava fora do ar foi de 6% por causa das GPUs, 5% por causa das oscilações de rede e outras pequenas coisas aleatórias em um servidor. 3. Em termos da utilidade da vida útil dessas GPUs, ele menciona que as pessoas ainda estão usando os $NVDA Voltas e Pascals. Mas o maior problema é: posso usar esse espaço e energia para algo mais interessante, ou esse data center é muito antigo e você o ignora? 4. Ele menciona que o primeiro anúncio $ORCL $AMD do MI300X da $AMD, $ORCL foi coberto, pois $AMD se comprometeu a alugar algumas dessas GPUs de volta para seus esforços de engenharia. 5. Ao contrário da visão da indústria, ele menciona que agora, fora dos grandes players, não há muita demanda de inferência, já que a mudança para a inferência tem sido lenta em empresas de médio porte e abaixo. Ele dá o exemplo recente da Lambda movendo sua inferência como serviço para a capacidade de treinamento devido à falta de demanda de inferência. Encontrado em @AlphaSenseInc