Een zeer inzichtelijk interview met een voormalige $ORCL-medewerker over het inzetten van $NVDA GPU's en de economie erachter: 1. Volgens zijn ervaring zijn de benchmarks die $NVDA biedt zeer genereus voor henzelf. Hij vermeldt dat hij zelfs ervaring heeft gehad waarbij ze 40% afweken. Over het algemeen zijn de meeste compute GPU-deals op dit moment langlopende, sterk afgeprijsde deals. 2. Hij had honderden duizenden GPU's en clusters, en 15% van zijn vloot was op elk moment buiten gebruik. Toen hij $NVDA om reserveonderdelen vroeg, kreeg hij die niet, en hij kon niets zeggen omdat ze zijn toewijzing zouden stopzetten. Hij vermeldt dat $NVDA veel klanten als gijzelaar houdt met het wachten op toekomstige capaciteit. De reden waarom 15% van de vloot buiten gebruik was, was 6% vanwege de GPU's, 5% vanwege netwerkproblemen, en de andere willekeurige kleine dingen in een server. 3. Wat betreft de bruikbaarheid van de levensduur van deze GPU's, vermeldt hij dat mensen nog steeds de $NVDA Voltas en Pascals gebruiken. Maar het grotere probleem is: kan ik die ruimte en energie voor iets interessanters gebruiken, of is dat datacenter te oud en negeer je het? 4. Hij vermeldt dat de eerste $ORCL $AMD aankondiging voor $AMD's MI300X, $ORCL werd behandeld als $AMD zich verplichtte om enkele van die GPU's terug te huren voor hun engineeringinspanningen. 5. In tegenstelling tot de visie van de industrie, vermeldt hij dat er op dit moment, buiten de grote spelers, niet veel vraag naar inferentie is, aangezien de overstap naar inferentie traag is geweest in middelgrote bedrijven en kleiner. Hij geeft het recente voorbeeld van Lambda die zijn inferentie-als-een-dienst naar trainingscapaciteit verplaatst vanwege een gebrek aan inferentievraag. gevonden op @AlphaSenseInc