Мені було приємно приїхати на Дваркеш минулого тижня, я думав, що запитання та розмова були справді хорошими. Я передивився под тільки зараз теж. По-перше, так, я знаю, і мені шкода, що я так швидко говорю :). Це мені на шкоду, тому що іноді моя розмовна нитка перевершує нитку мого мислення, тому я думаю, що я провалив кілька пояснень через це, а іноді я також нервував, що я занадто багато йду по дотичній або занадто глибоко в щось відносно неприємне. У всякому разі, кілька зауважень/вказівок: Часові шкали AGI. Мої коментарі щодо часових шкал AGI, схоже, є найбільш трендовою частиною ранньої відповіді. Це «десятиліття агентів» — це посилання на цей ранній твіт В основному мої часові рамки штучного інтелекту приблизно в 5-10 разів песимістичні w.r.t. те, що ви знайдете на домашній вечірці SF AI у вашому районі або на вашій стрічці в Twitter, але все ще досить оптимістично w.r.t. зростаюча хвиля заперечувачів штучного інтелекту та скептиків. Очевидний конфлікт не є: imo ми одночасно 1) побачили величезну кількість прогресу за останні роки з LLM, тоді як 2) попереду ще багато роботи (буркотлива робота, робота з інтеграцією, датчики та актуатори до фізичного світу, соціальна робота, робота з безпеки та захисту (втечі з в'язниці, отруєння тощо)), а також дослідження, які потрібно пройти, перш ніж ми отримаємо організацію, яку ви б віддали перевагу найняти, а не людину для довільної роботи в світ. Я думаю, що в цілому 10 років повинні бути дуже бичачою графікою для AGI, тільки на відміну від нинішнього ажіотажу, він не відчуває себе таким. Тварини проти привидів. Мій попередній запис у подкасті Саттона . Я підозрюю, що є один простий алгоритм, який можна випустити на волю світу, і він вивчає все з нуля. Якщо хтось побудує таке, я буду помилятися і це буде найнеймовірніший прорив в ШІ. На мою думку, тварини зовсім не є прикладом цього – еволюція наділила їх тонною інтелекту, і навчання, яке вони роблять, загалом досить мінімальне (приклад: зебра при народженні). Надягаючи інженерні капелюхи, ми не збираємося переробляти еволюцію. Але з LLM ми натрапили на альтернативний підхід до «упаковки» тонни інтелекту в нейронну мережу - не шляхом еволюції, а шляхом прогнозування наступного токена через Інтернет. Такий підхід призводить до іншого типу сутностей у розвідувальному просторі. Відрізняються від тварин, більше схожі на привидів або духів. Але ми можемо (і повинні) з часом зробити їх більш схожими на тварин, і в певному сенсі саме це і є предметом великої роботи на фронтирі. На Р.Л. Я вже кілька разів критикував RL, наприклад . По-перше, ви "висмоктуєте нагляд через соломинку", тому я вважаю, що сигнал/флоп дуже поганий. RL також дуже галасливий, тому що завершення може мати багато помилок, які можуть отримати підбадьорення (якщо ви випадково натрапите на правильну відповідь), і навпаки, блискучі токени інсайту, які можуть розчаруватися (якщо ви випадково облажаєтеся пізніше). Нагляд за процесами та судді LLM також мають проблеми. Я думаю, що ми побачимо альтернативні парадигми навчання. Я давно "агентна взаємодія", але коротке "навчання з підкріпленням" Я бачив, як нещодавно з'явилася низка статей, які імо гавкають на правильне дерево в дусі того, що я назвав "системним швидким навчанням", але я думаю, що також існує розрив між ідеями щодо arxiv та реальним, у масштабі впровадженням у прикордонній лабораторії LLM, яка працює загальним чином. Я в цілому досить оптимістично налаштований щодо того, що досить скоро ми побачимо хороший прогрес у цьому вимірі роботи, що залишилася, і, наприклад, я б навіть сказав, що пам'ять ChatGPT і так далі є первинними прикладами розгортання нових парадигм навчання. Когнітивне ядро. Мій попередній пост про "когнітивне ядро": ідея прибрати LLM, ускладнити їм запам'ятовування або активно видаляти їхню пам'ять, щоб зробити їх кращими в узагальненні. В іншому випадку вони занадто сильно спираються на те, що запам'ятали. Люди не можуть так легко запам'ятати, що тепер більше схоже на функцію, ніж на помилку. Може бути, нездатність до запам'ятовування є своєрідною регуляризацією. Також мій пост деякий час тому про те, що тенденція в розмірі моделей «зворотна» і чому «моделі спочатку повинні стати більшими, перш ніж вони зможуть стати меншими» Подорож у часі до Янна Лекуна, 1989 рік. Це пост, який я дуже поспішно/погано описав на стручку: . В принципі - наскільки ви могли б поліпшити результати Янна Лекуна зі знаннями 33 років алгоритмічного прогресу? Наскільки обмеженими були результати кожного з алгоритмів, даних та обчислень? Приклад з практики. наночат. Моя наскрізна реалізація конвеєра навчання/висновків ChatGPT (найнеобхідніше) Про агентів LLM. Моя критика галузі скоріше полягає в тому, щоб перевищити наявні можливості інструментарію. Я живу в тому, що я вважаю проміжним світом, де я хочу співпрацювати з LLM і де наші плюси та мінуси співпадають. Індустрія живе в майбутньому, де повністю автономні сутності співпрацюють паралельно, щоб написати весь код, а люди марні. Наприклад, я не хочу агента, який працює протягом 20 хвилин і повертається з 1000 рядками коду. Я, звичайно, не відчуваю себе готовим керувати командою з 10 із них. Я хотів би йти частинами, які я можу тримати в голові, де LLM пояснює код, який він пише. Я б хотів, щоб він довів мені, що те, що він зробив, є правильним, я хочу, щоб він витягнув документи API і показав мені, що він використовував все правильно. Я хочу, щоб він робив менше припущень і просив/співпрацював зі мною, коли не впевнений у чомусь. Я хочу вчитися на цьому шляху і ставати кращим програмістом, а не просто отримувати гори коду, який, як мені кажуть, працює. Я просто вважаю, що інструменти повинні бути більш реалістичними щодо їхніх можливостей і того, як вони вписуються в індустрію сьогодні, і я боюся, що якщо це не буде зроблено належним чином, ми можемо закінчитися горами недбалості, що накопичуються в програмному забезпеченні, а також збільшенням вразливостей, порушень безпеки тощо. Автоматизація роботи. Як чудово справляються лікарі-рентгенологи та які професії більше піддаються автоматизації і чому. Фізика. Діти повинні вивчати фізику в ранньому віці не тому, що вони продовжують займатися фізикою, а тому, що саме цей предмет найкраще розвиває мозок. Фізики – це інтелектуальні ембріональні стовбурові клітини У мене є довший пост, який був наполовину написаний у моїх чернетках на ~ рік, який я сподіваюся скоро закінчити. Ще раз дякую Дваркешу за те, що запросив мене!