Мне было приятно прийти на встречу с Дваркешем на прошлой неделе, я думал, что вопросы и разговор были действительно хорошими. Я только что пересмотрел подкаст. Прежде всего, да, я знаю, и мне жаль, что я говорю так быстро :). Это идет мне на вред, потому что иногда моя речь опережает мои мысли, и я думаю, что из-за этого я испортил несколько объяснений, а иногда я также нервничал, что ухожу слишком далеко от темы или углубляюсь в что-то относительно несущественное. В любом случае, несколько заметок/указаний: Сроки AGI. Мои комментарии по срокам AGI, похоже, стали самой обсуждаемой частью раннего отклика. Это "десятилетие агентов" - ссылка на этот ранний твит. В основном, мои сроки по AI на 5-10 раз более пессимистичны по сравнению с тем, что вы найдете на вечеринке по AI в вашем районе или в вашем Twitter, но все же довольно оптимистичны по сравнению с растущим числом отрицателей AI и скептиков. Очевидный конфликт не является таковым: на мой взгляд, мы одновременно 1) увидели огромное количество прогресса в последние годы с LLM, в то время как 2) все еще остается много работы (рутинной работы, интеграционной работы, сенсоров и актуаторов для физического мира, социальной работы, работы по безопасности и защите (взломы, отравления и т.д.)) и также исследований, которые нужно провести, прежде чем у нас появится сущность, которую вы предпочтете нанять вместо человека для произвольной работы в мире. Я думаю, что в целом 10 лет должны быть очень оптимистичным сроком для AGI, это только в контексте нынешнего хайпа не кажется таким. Животные против призраков. Мой предыдущий обзор на подкасте Саттона. Я подозреваю, что нет единого простого алгоритма, который можно было бы запустить в мир, и он научится всему с нуля. Если кто-то создаст такое, я буду неправ, и это будет невероятный прорыв в AI. На мой взгляд, животные не являются примером этого - они уже наделены огромным количеством интеллекта благодаря эволюции, и обучение, которое они проходят, в целом довольно минимально (пример: зебра при рождении). Надев наши инженерные шляпы, мы не собираемся заново проходить эволюцию. Но с LLM мы наткнулись на альтернативный подход к "предварительной упаковке" огромного количества интеллекта в нейронной сети - не через эволюцию, а предсказывая следующий токен через интернет. Этот подход приводит к другому типу сущности в области интеллекта. Отличается от животных, больше похоже на призраков или духов. Но мы можем (и должны) сделать их более похожими на животных со временем, и в некотором смысле именно это и есть суть многих передовых исследований. По RL. Я уже несколько раз критиковал RL, например. Во-первых, вы "всасываете супервизию через соломинку", поэтому я думаю, что сигнал/флоп очень плохой. RL также очень шумный, потому что завершение может содержать много ошибок, которые могут быть поощрены (если вам удастся наткнуться на правильный ответ), и наоборот, блестящие токены инсайта могут быть подавлены (если вам не повезет позже). Процессуальная супервизия и судьи LLM тоже имеют свои проблемы. Я думаю, что мы увидим альтернативные парадигмы обучения. Я за "агентное взаимодействие", но против "обучения с подкреплением". Я видел несколько статей, которые, на мой взгляд, идут в правильном направлении в том, что я назвал "обучением по системным подсказкам", но я думаю, что также существует разрыв между идеями на arxiv и фактической реализацией в лаборатории LLM, которая работает в общем порядке. В целом я довольно оптимистичен, что мы увидим хороший прогресс в этом направлении оставшейся работы довольно скоро, и, например, я даже сказал бы, что память ChatGPT и так далее являются примитивными примерами новых парадигм обучения. Когнитивное ядро. Мой предыдущий пост о "когнитивном ядре": идея о том, чтобы упростить LLM, сделать им труднее запоминать или активно избавляться от их памяти, чтобы сделать их лучше в обобщении. В противном случае они слишком сильно полагаются на то, что они запомнили. Люди не могут так легко запоминать, что теперь выглядит больше как особенность, чем как недостаток. Возможно, неспособность запоминать - это своего рода регуляризация. Также мой пост, который я написал некоторое время назад о том, как тенденция в размере модели "обратная" и почему "модели должны сначала стать больше, прежде чем они могут стать меньше". Путешествие во времени к Янну ЛеКуну 1989 года. Это пост, который я очень быстро/плохо описал в подкасте: в основном - насколько вы могли бы улучшить результаты Янна ЛеКуна с учетом 33 лет алгоритмического прогресса? Насколько результаты были ограничены каждым из алгоритмов, данных и вычислений? Кейс-стадия там. nanochat. Моя реализация от начала до конца процесса обучения/инференции ChatGPT (основные элементы). По агентам LLM. Моя критика индустрии больше связана с переоценкой инструментов по сравнению с текущими возможностями. Я живу в том, что я считаю промежуточным мире, где я хочу сотрудничать с LLM и где наши плюсы/минусы совпадают. Индустрия живет в будущем, где полностью автономные сущности сотрудничают параллельно, чтобы написать весь код, а люди бесполезны. Например, я не хочу, чтобы агент уходит на 20 минут и возвращается с 1000 строками кода. Я определенно не чувствую себя готовым контролировать команду из 10 таких агентов. Я хотел бы работать небольшими частями, которые я могу держать в голове, где LLM объясняет код, который он пишет. Я хотел бы, чтобы он доказал мне, что то, что он сделал, правильно, я хочу, чтобы он извлек документы API и показал мне, что он использовал все правильно. Я хочу, чтобы он делал меньше предположений и спрашивал/сотрудничал со мной, когда не уверен в чем-то. Я хочу учиться на этом пути и становиться лучше как программист, а не просто получать горы кода, который мне говорят, что он работает. Я просто думаю, что инструменты должны быть более реалистичными по сравнению с их возможностями и тем, как они вписываются в индустрию сегодня, и я боюсь, что если это не будет сделано хорошо, мы можем оказаться с горами мусора, накапливающегося в программном обеспечении, и увеличением уязвимостей, нарушений безопасности и т.д. Автоматизация рабочих мест. Как радиологи добиваются успеха и какие профессии более подвержены автоматизации и почему. Физика. Дети должны изучать физику в раннем образовании не потому, что они будут заниматься физикой, а потому, что это предмет, который лучше всего развивает мозг. Физики - это интеллектуальные эмбриональные стволовые клетки. У меня есть более длинный пост, который был наполовину написан в моих черновиках около года, который я надеюсь закончить скоро. Еще раз спасибо, Дваркеш, что пригласил меня!