$NVDA GPU の導入とその背後にある経済性について、元 $ORCL 従業員への非常に洞察力に富んだインタビューです。 1. 彼の経験では、$NVDAが提供するベンチマークは、それ自体に非常に寛大です。彼は、彼らが40%ずれた経験さえあったと述べています。一般に、現在のコンピューティング GPU 取引のほとんどは、長期的で大幅な割引取引です。 2. 彼は何十万もの GPU とクラスターを持っていましたが、常にフリートの 15% がダウンしていました。$NVDAに予備を頼んだとき、彼はそれを手に入れず、割り当てを切ってしまうので何も言えませんでした。彼は、$NVDAが将来の定員のために列に並んで多くの顧客を人質に取っていると述べています。 フリートの 15% がダウンした理由は、6% が GPU のせいで、5% がネットワーク フラップのせいで、サーバー内のその他のランダムな小さなことが原因でした。 3. これらの GPU の寿命の有用性に関して、彼は人々がまだ $NVDA Voltas と Pascals を使用していると述べています。しかし、より大きな問題は、そのスペースと電力をもっと興味深いことに使えるのか、それともそのデータセンターが古すぎて無視しているのかということです。 4. 彼は、$AMD の MI300X の最初の$ORCL $AMD発表は、$AMDエンジニアリング作業のためにそれらの GPU の一部をレンタルすることを約束した$ORCLとして取り上げられたと述べています。 5. 業界の見方に反して、彼は、現在、大手企業以外では、中堅企業以下では推論への移行が遅れているため、推論の需要はあまりないと述べています。彼は、推論需要の不足を理由に、Lambda がサービスとしての推論をトレーニング能力に移行した最近の例を挙げています。 @AlphaSenseIncで発見