Một cuộc phỏng vấn thực sự sâu sắc với một cựu nhân viên của $ORCL về việc triển khai GPU $NVDA và kinh tế đằng sau nó: 1. Theo kinh nghiệm của anh ấy, các chỉ số mà $NVDA cung cấp rất hào phóng với chính họ. Anh ấy đề cập rằng anh thậm chí đã có kinh nghiệm mà chúng sai lệch tới 40%. Nói chung, hầu hết các thỏa thuận GPU tính toán hiện nay là các thỏa thuận dài hạn, được giảm giá mạnh. 2. Anh ấy có hàng trăm nghìn GPU và cụm, và 15% đội tàu của anh ấy vào bất kỳ thời điểm nào đều không hoạt động. Khi hỏi $NVDA về các linh kiện dự phòng, anh không nhận được, và anh không thể nói gì vì họ sẽ cắt giảm phân bổ của anh. Anh ấy đề cập rằng $NVDA đang giữ nhiều khách hàng làm con tin với việc xếp hàng chờ công suất trong tương lai. Lý do 15% đội tàu không hoạt động là 6% do GPU, 5% do sự cố mạng, và những vấn đề ngẫu nhiên khác trong một máy chủ. 3. Về tính hữu ích của tuổi thọ của những GPU này, anh ấy đề cập rằng mọi người vẫn đang sử dụng các GPU $NVDA Voltas và Pascals. Nhưng vấn đề lớn hơn là, tôi có thể sử dụng không gian và năng lượng đó cho điều gì thú vị hơn, hay trung tâm dữ liệu đó quá cũ và bạn bỏ qua nó? 4. Anh ấy đề cập rằng thông báo đầu tiên của $ORCL về $AMD cho $AMD's MI300X, $ORCL đã được đưa tin khi $AMD cam kết thuê một số GPU đó lại cho các nỗ lực kỹ thuật của họ. 5. Trái ngược với quan điểm của ngành, anh ấy đề cập rằng hiện tại, ngoài các công ty lớn, không có nhiều nhu cầu suy diễn, vì việc chuyển sang suy diễn đã diễn ra chậm ở các công ty vừa và nhỏ. Anh ấy đưa ra ví dụ gần đây về việc Lambda chuyển dịch vụ suy diễn của mình sang công suất đào tạo vì thiếu nhu cầu suy diễn. được tìm thấy trên @AlphaSenseInc