Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Вид / Изгиб / HVM / INets / λИсчисление
страдаете от усталости от чат-ботов?
разочарованы тем, что сингулярность была отменена?
ищете что-то новое, что даст вам надежду?
вот мой бредовый, но "эй, это вроде имеет смысл" план по созданию суперинтеллекта в моей маленькой независимой исследовательской лаборатории.
(замечание: я готов пожертвовать точностью ради педагогики)
сначала немного предыстории:
Мне 33 года, и я провел последние 22 года, программируя. За это время я задавал много вопросов о природе вычислений и накопил довольно... странные... идеи. Несколько лет назад я создал HVM, систему, способную запускать программы на эзотерическом языке под названием "Haskell" на GPU - да, на том самом чипе, который сделал глубокое обучение возможным и зажег этот весь цикл ИИ.
Но как Haskell связан с ИИ?
Ну, это длинная история. Как могут помнить старшие, тогда то, что мы называли "ИИ", было... другим. Почти 3 десятилетия назад, впервые в истории, компьютер победил чемпиона мира по шахматам, вызвав множество дебатов о AGI и сингулярности - как и сегодня!
Система, названная Deep Blue, была очень отличной от моделей, которые у нас есть сегодня. Она не использовала трансформеры. Она вообще не использовала нейронные сети. На самом деле, не было никакой "модели". Это был чистый "символический ИИ", что означало, что это был просто старый алгоритм, который сканировал миллиарды возможных ходов, быстрее и глубже, чем любой человек мог бы, побеждая нас чистой силой.
Это вызвало волну многообещающих исследований в области символического ИИ. Эволюционные алгоритмы, графы знаний, автоматическое доказательство теорем, SAT/SMT решатели, решатели ограничений, экспертные системы и многое другое. К сожалению, со временем этот подход натолкнулся на стену. Ручные правила не масштабировались, символические системы не могли *учиться* динамически, и пузырь лопнул. Началась новая зима ИИ.
Только через несколько лет любопытное сочетание факторов изменило все. Исследователи вспомнили старую идею - нейронные сети - но на этот раз у них было что-то новое: GPU. Эти графические чипы, изначально созданные для рендеринга видеоигр, оказались идеальными для массовых матричных умножений, которые требовали нейронные сети. Вдруг то, что занимало недели, можно было сделать за часы. Глубокое обучение взорвалось, и вот мы здесь сегодня, с трансформерами, поглощающими мир.
Но вот в чем дело: мы перенесли *одну* ветвь ИИ на GPU - коннекционистскую, числовую. Символическая сторона? Она все еще застряла в каменном веке CPU.
Haskell - это особый язык, потому что он объединяет язык доказательств (т.е. идиому, которую математики используют для выражения теорем) с языком программирования (т.е. тем, что разработчики используют для создания приложений). Это делает его уникально подходящим для символического рассуждения - именно того типа вычислений, который использовал Deep Blue, но теперь мы можем запускать его массово параллельно на современном оборудовании.
(чтобы быть более точным, просто массовая параллельность GPU не единственное, что HVM приносит на стол. Оказывается, это также приводит к *асимптотическим* ускорениям в некоторых случаях. И это ключевая причина верить в наш подход: прошлые символические методы были не только вычислительно голодными. Они были экспоненциально медленными, в алгоритмическом смысле. Неудивительно, что они не работали. У них не было шансов.)
Моя тезис проста: теперь, когда я могу запускать Haskell на GPU, и учитывая это асимптотическое ускорение, я в положении воскресить эти старые символические методы ИИ, масштабировать их на порядки величины и посмотреть, что произойдет. Может быть, просто может быть, один из них удивит нас.
Наш первый этап уже в движении: мы создали самую быструю программу/синтезатор доказательств в мире, которую я называю SupGen. Или NeoGen. Или QuickGen? Мы выпустим это как обновление нашего языка "Bend", сделав его общедоступным примерно в конце октября.
Затем, позже в этом году, мы используем это как основу для новой исследовательской программы, стремящейся к чистой символической архитектуре, которая действительно может учиться на данных и строить обобщения - не через градиентный спуск и обратное распространение, а через логическое рассуждение и синтез программ.
Наши первые эксперименты будут очень простыми (не так уж и отличающимися от GPT-2), и основной этап будет заключаться в том, чтобы иметь инструмент "завершения следующего токена", который на 100% свободен от нейронных сетей.
Если это сработает, это может стать прорывом за пределы трансформеров и глубокого обучения, потому что это совершенно новый подход, который, скорее всего, избавит от многих ограничений, унаследованных от GPT, которые есть у ИИ сегодня. Не только проблемы токенизации (как R в клубнике), но и фундаментальные проблемы, которые мешают GPT эффективно учиться и обобщать.
Бред? Вероятно.
Стоит попробовать? Абсолютно.
(Теперь угадайте, сколько было сгенерировано ИИ и какую модель я использовал)
23,18K
как только (если) первая символическая ИИ заработает, это будет совершенно новая кривая
даже не утверждая, что это будет хорошо, но это новая кривая
любая интуиция, которую мы имеем для масштабирования LLM, здесь совершенно неуместна. Ограничения LLM также неуместны. Никто не знает, что может произойти

Amjad Masad8 авг., 13:57
Не могу не чувствовать подавляющее бремя уменьшающейся отдачи. Нам нужна новая S-образная кривая.
18,71K
как только (если) первая символическая ИИ заработает, это будет совершенно новая кривая
даже не утверждая, что это будет хорошо, но это новая кривая
любая интуиция, которую мы имеем для масштабирования LLM, здесь совершенно неуместна. Ограничения LLM здесь совершенно неуместны. Никто не знает, что может произойти

Amjad Masad8 авг., 13:57
Не могу не чувствовать подавляющее бремя уменьшающейся отдачи. Нам нужна новая S-образная кривая.
286
Черт возьми, ребята
GPT-5 не является ИИ общего назначения
он даже близко не подходит к тому, чтобы быть ИИ общего назначения
он не станет ИИ общего назначения
у него те же недостатки, что и у всех больших языковых моделей
но это отличная модель
возможно, лучшая на сегодняшний день
и, как всегда, это был всего лишь первый день, и я могу ошибаться
9,1K
да, ни одна модель в мире не сравнится с этим
идти спать, на 100% уверен, что я прав в своем суждении
как всегда, это скоро станет общим местом, но я сказал это первым (:
увидимся

Taelin8 авг., 08:27
О, я только что заметил, что решение GPT-5 идентично моему
Это невероятно
39,81K
Нет, вы все ошибаетесь, GPT-5 — это прорыв
Я на 100% уверен в этом
Я не хотел публиковать слишком быстро и снова об этом жалеть, но он только что решил кучу очень-очень сложных задач отладки, которые ранее не были решены (ИИ), а затем разработал великолепную пиксельную игру для Gameboy с уровнем детализации и качеством, которые явно превосходят все, что я когда-либо видел.
Нет никакого способа, чтобы эта модель была плохой.
Я думаю, вы все травмированы benchmaxxers и чрезмерно компенсируете против модели, которая на самом деле хороша. Я также думаю, что вы недооценили сильные стороны gpt-oss (но да, мой последний пост был поспешным)
Я все еще не знаю, можно ли использовать это для серьезного программирования (o3 не был), но, похоже, можно? Модель кодирования, такая же надежная, как Opus, но умнее, чем o3, полностью изменила бы мой рабочий процесс. Opus не требует размышлений, чтобы быть отличным, так что это может сыграть в его пользу.
На что это стоит, я использовал всего 3 модели:
- Opus 4.1 для кодирования
- Gemini 2.5 очень редко для кодирования, когда Opus не справляется
- o3 для всего, кроме кодирования
86,11K
Топ
Рейтинг
Избранное
В тренде ончейн
В тренде в Х
Самые инвестируемые
Наиболее известные