Интересный комментарий от бывшего сотрудника $GOOGL: - Настоящее превосходство TPU не в самих чипах, а в программном обеспечении и экосистеме, которую $GOOGL оптимизировал для TPU. Можно привести аналогичный аргумент для $NVDA. найдено на @AlphaSenseInc

Мое мнение о том, что графические процессоры (GPU) имеют реальный срок полезного использования 1-2 года вместо более 4 лет, вызывает много вопросов, поэтому позвольте мне объяснить более подробно: Во-первых, все контраргументы следующие: "но H100, A100 все еще используются, и им 3-5 лет", "клиенты будут использовать старые GPU для задач вывода", "крупные компании используют старые GPU для внутренних задач" Вот почему это неправильное мышление: 1. Люди забывают, что $NVDA перешла на 1-летний цикл продуктов в 2024 году (не раньше!), так что Blackwell все еще является продуктом 2-летнего цикла. Перед Blackwell Hopper -H100, H200 был продуктом, а до этого - A100. Так что, прежде всего, H100 не является 3-летним продуктом; это 1-летний продукт с точки зрения цикла продукта (сразу после Blackwell). Nvidia также начала поставлять H100 в серьезных объемах в начале 2023 года. Двигаясь вперед с сегодняшнего дня, каждый год мы будем получать новый продукт, который будет значительно более производительным (10x-30x) и эффективным, чем предыдущее поколение, так что не каждые 2 года, а каждый год. 2. Мы переходим от мира, где каждое дополнительное развертывание GPU/ускорителя является инкрементальным, к миру, где большинство развертываний является заменой (не инкрементальным), так как мы ограничены. Мы ограничены мощностью и доступными дата-центрами. Поэтому, конечно, когда у вас есть изобилие пространства в дата-центрах и мощности, вы также будете использовать "старые" GPU, так как у вас достаточно места для их развертывания. Но как только вы исчерпаете это пространство для развертывания и будете ограничены, вашим ограничивающим фактором станет мощность, и вы будете искать, сколько токенов вы генерируете на ватт, который у вас есть. Если новое поколение GPU дает вам 10x токенов/ватт по сравнению с предыдущим, если вы хотите расти и обслуживать больше клиентов, вам придется заменить его на новое поколение, и вы не сможете "использовать" "старый" GPU, так как у вас нет места для его развертывания. Снова, важно понять, что мы переходим от дефицита GPU к дефициту ЭНЕРГИИ, и это меняет ситуацию. 3. Представление о том, что "старые GPU будут использоваться для внутренних задач", неверно. Есть лишь handful компаний, которые имеют роскошь иметь свой собственный облачный бизнес, а также крупный потребительский или корпоративный бизнес, который может взять на себя некоторые из этих старых GPU (опять же, даже эти случаи использования будут резко сокращены, когда мы войдем в фазу, описанную в аргументе 2). Облачные провайдеры не будут иметь достаточного спроса и хороших маржей, чтобы использовать "старое" поколение GPU для облачных клиентов, так как эти GPU не являются активами, которые просто приносят деньги после их покупки; они также стоят. Они стоят мощности (цены на электроэнергию растут), они стоят охлаждения и они стоят обслуживания. 4. Вывод с использованием моделей мышления и рассуждения изменился кардинально. Теперь меньшая, менее производительная модель с точки зрения параметров может работать лучше, чем большая модель, если вы предоставите ей больше вычислительных ресурсов на стороне вывода "для размышлений". Вычисления вывода также являются новой парадигмой масштабирования. Что это означает, так это то, что разница, если вы выполняете вывод на H100, B300 или B200, огромна. Мы также перемещаем рынок от задач обучения к задачам вывода. При обучении наиболее важным показателем для исследовательских лабораторий ИИ была производительность и скорость, с которой они могли обучать новые модели. Поскольку мы теперь входим в эпоху вывода, наиболее важным показателем являются затраты, поэтому если B300 дает вам 10x-30x количество токенов за те же затраты, что и старый GPU, вы замените его, так как хотите обслуживать как можно больше клиентов и хотите получить прибыль. Согласно недавним отчетам, OAI теряет $3 на каждые $1, которые он зарабатывает. Это не может продолжаться вечно, и одно из самых важных изменений заключается в том, чтобы выполнять вывод на новых и эффективных GPU/ускорителях.

TPU от $GOOGL в долгосрочной перспективе, вероятно, окажутся одним из лучших их инвестиций в истории. - $GOOGL обрабатывает более 1,3 квадриллиона токенов в месяц - API OpenAI обрабатывает 260 триллионов в месяц $GOOGL с обзорами AI и Gemini уже показывает вам, насколько эффективно вы можете запускать GenAI с помощью TPU в огромных масштабах.