Цікавий коментар від колишньої співробітниці $GOOGL: - Справжня перевага TPU полягає не в самих чіпах, а в програмному забезпеченні та екосистемі, яку $GOOGL оптимізував для TPU. Міг би навести аналогічний аргумент для $NVDA. Знайдено на @AlphaSenseInc

Моя думка про те, що графічні процесори мають реальну корисність 1-2 роки життя замість +4 років, відкриває багато питань, тому дозвольте мені пояснити детальніше: По-перше, всі контраргументи такі: «але H100, A100 все ще використовуються і їм 3-5 років», «клієнти будуть використовувати старі графічні процесори для робочих навантажень висновків», «великі технологічні компанії використовують старі графічні процесори для внутрішніх навантажень» Ось чому це неправильне мислення: 1. Люди забувають, що у 2024 році $NVDA перейшов на 1-річний цикл продукту (не раніше!), тому Blackwell все ще є продуктом 2-річного циклу продукту. До Blackwell Hopper -H100 продукт був H200, а до цього продуктом був A100. Отже, перш за все, H100 – це не продукт 3-річної давності; це продукт 1-річної давності з точки зору циклу продукту (відразу після Blackwell). Nvidia також почала поставки H100 із серйозними обсягами на початку 2023 року. Починаючи з сьогоднішнього дня, щороку ми будемо отримувати новий продукт, який буде значно продуктивнішим (10x-30x) та ефективним, ніж попереднє покоління, тобто не кожні 2 роки, а щороку. 2. Ми переходимо від світу, де кожне додаткове розгортання графічного процесора/прискорювача відбувається поступово, до світу, де більша частина розгортання є заміною (а не поступовою), оскільки ми обмежені. Ми обмежені потужністю та доступними дата-центрами. Тому, звичайно, коли у вас є багато місця та потужності в центрі обробки даних, ви також будете використовувати «старі» графічні процесори, оскільки у вас достатньо місця для їх розгортання. Але як тільки у вас закінчується простір для розгортання і ви обмежені, вашим обмежуючим фактором є потужність, і тому ви шукаєте, скільки токенів ви генеруєте на ват, який у вас є. Якщо нове покоління графічних процесорів дає вам у 10 разів більше токенів/ват, ніж попереднє, якщо ви хочете розвиватися та обслуговувати більше клієнтів, вам доведеться замінити його на нове покоління, і ви не зможете «використовувати» «старий» графічний процесор, оскільки вам немає де його розгорнути. Знову ж таки, потрібно розуміти, що ми переходимо від дефіциту GPU до дефіциту POWER, і це змінює ситуацію. 3. Малювати картину "ой, а ж старі GPU будуть використовуватися для внутрішніх навантажень" неправильно. Є лише кілька компаній, які мають розкіш мати власний хмарний бізнес, а також мати великий споживчий або корпоративний бізнес, який може взяти на себе деякі з цих старих графічних процесорів (знову ж таки, навіть ці варіанти використання різко зменшаться, коли ми вступаємо у фазу, описану в аргументі 2). Хмарні провайдери не матимуть достатнього попиту та хорошої маржі для запуску «старого» покоління графічних процесорів для хмарних клієнтів, оскільки ці графічні процесори не є активами, які просто заробляють гроші, коли ви їх купуєте; Вони теж коштують. Вони коштують електроенергію (ціни на електроенергію зростають), вони коштують на охолодження та коштують на технічне обслуговування. 4. Різко змінився висновок з моделями мислення і міркування. Тепер менша, менш продуктивна модель з точки зору параметрів може працювати краще, ніж більша модель, якщо ви дасте їй більше обчислень на стороні висновку «думати». Обчислення логічного висновку також є новою парадигмою масштабування. Це означає, що різниця, якщо ви проводите висновок на H100, B300 або B200, величезна. Ми також переходимо від навчальних навантажень до висновків. Під час навчання найважливішим показником дослідницьких лабораторій штучного інтелекту була продуктивність і швидкість, з якою вони могли навчати нові моделі. Оскільки ми зараз вступаємо в еру висновків, найважливішим показником є витрати, тому, якщо B300 дає вам у 10x-30x кількість токенів за ті ж витрати, що й старіший графічний процесор, ви заміните його, оскільки хочете обслуговувати стільки клієнтів, скільки зможете, і хочете отримати певний прибуток. Згідно з останніми даними, OAI втрачає $3 на кожен зароблений $1. Це не триватиме вічно, і одна з найважливіших речей, яку потрібно змінити, — це проведення висновків на нових та ефективних графічних процесорах/прискорювачах.

TPU $GOOGL в довгостроковій перспективі, ймовірно, виявляться однією з їхніх найкращих інвестицій в історії. - $GOOGL обробляє понад 1,3 квадрильйона токенів на місяць - API OpenAI обробляє 260 трильйонів на місяць $GOOGL з оглядами штучного інтелекту, і Gemini вже показує вам, наскільки економічно/ефективним можна запустити GenAI за допомогою TPU у величезних масштабах.