Et virkelig innsiktsfullt intervju med en tidligere $ORCL-ansatt om distribusjon $NVDA GPUer og økonomien bak det: 1. Etter hans erfaring er referansene som $NVDA gir veldig sjenerøse mot seg selv. Han nevner at han til og med hadde erfaring der de var 40 % dårligere. Generelt er de fleste data-GPU-avtalene akkurat nå langsiktige, sterkt rabatterte avtaler. 2. Han hadde hundretusenvis av GPUer og klynger, og 15 % av flåten hans til enhver tid var nede. Da han spurte $NVDA om reservedeler, fikk han det ikke, og han kunne ikke si noe fordi de ville kutte tildelingen hans. Han nevner at $NVDA holder mange av kundene som gisler med å stå i kø for fremtidig kapasitet. Grunnen til at 15 % av flåten var nede var 6 % på grunn av GPUene, 5 % på grunn av nettverksklaffene og de andre tilfeldige småtingene på en server. 3. Når det gjelder nytten av levetiden til disse GPUene, nevner han at folk fortsatt bruker $NVDA Voltas og Pascals. Men det større problemet er, kan jeg bruke den plassen og kraften til noe mer interessant, eller er det datasenteret for gammelt og du ignorerer det? 4. Han nevner at den første $ORCL $AMD kunngjøringen for $AMD s MI300X, $ORCL ble dekket da $AMD forpliktet seg til å leie noen av disse GPUene tilbake for deres ingeniørarbeid. 5. I motsetning til bransjens syn, nevner han at akkurat nå, utenom de store aktørene, er det ikke mye inferensetterspørsel, ettersom overgangen til inferens har gått sakte i mellomstore selskaper og under. Han gir det nylige eksemplet med at Lambda flyttet sin inferens-som-en-tjeneste til opplæringskapasitet på grunn av mangel på inferensetterspørsel. funnet på @AlphaSenseInc