Un interviu cu adevărat perspicace cu un fost angajat $ORCL despre implementarea GPU-urilor $NVDA și economia din spatele acestora: 1. Din experiența sa, reperele pe care le oferă $NVDA sunt foarte generoase cu ei înșiși. El menționează că a avut chiar experiență în care au fost în decădere cu 40%. În general, majoritatea ofertelor de GPU de calcul în acest moment sunt oferte pe termen lung, cu reduceri puternice. 2. Avea sute de mii de GPU-uri și clustere, iar 15% din flota sa la un moment dat era oprită. Când i-a cerut $NVDA piese de schimb, nu le-a primit și nu a putut spune nimic pentru că i-ar fi tăiat alocarea. El menționează că $NVDA ține mulți dintre clienți ostatici, stând la coadă pentru capacitatea viitoare. Motivul pentru care 15% din flotă a fost oprit a fost 6% din cauza GPU-urilor, 5% din cauza flapsurilor de rețea și a celorlalte lucruri mici aleatorii dintr-un server. 3. În ceea ce privește utilitatea duratei de viață a acestor GPU-uri, el menționează că oamenii încă folosesc $NVDA Voltas și Pascals. Dar problema mai mare este, pot folosi acel spațiu și putere pentru ceva mai interesant sau acel centru de date este prea vechi și îl ignori? 4. El menționează că primul anunț $ORCL $AMD pentru MI300X $AMD, $ORCL a fost acoperit ca $AMD angajat să închirieze unele dintre aceste GPU-uri înapoi pentru eforturile lor de inginerie. 5. Contrar opiniei industriei, el menționează că în acest moment, în afară de marii jucători, nu există prea multă cerere de inferență, deoarece trecerea la inferență a fost lentă în companiile mijlocii și mai departe. El dă exemplul recent al Lambda care își mută inferența ca serviciu în capacitatea de antrenament din cauza lipsei cererii de inferență. găsit pe @AlphaSenseInc