Особливо цікаво було запитати @karpathy, чому безпілотним автомобілям знадобилося десятиліття+ від зіркових демонстраційних заїздів до хоча б часткового розгортання. Андрій очолював штучний інтелект у Tesla протягом 5 років. Я дійсно хотів знати, чи повинні ці тертя подовжувати наші часові рамки AGI, чи вони є специфічними для автономного водіння. Водіння має дійсно високу ціну відмови. Люди напрочуд надійні водії – кожні 400 000 миль/7 років ми потрапляємо в серйозну аварію. І безпілотні автомобілі повинні відповідати або перевершувати цей профіль безпеки, перш ніж їх можна буде розгорнути. Але чи більшість доменів є такими? До співбесіди мені здавалося, що практично кожен домен, до якого ми хотіли б підключити AGI, має набагато нижчу вартість відмови. Якби повністю автономним інженерам-програмістам не дозволили помилитися протягом 7 років, розгортання дійсно було б надзвичайно повільним. Андрій висловив цікаву думку, про яку я раніше не чув: у порівнянні з автономним керуванням, програмна інженерія має вищу (і потенційно необмежену) ціну відмови: > Якщо ви пишете справжній код виробничого класу, будь-яка помилка може призвести до вразливості безпеки. Сотні мільйонів особистих номерів соціального страхування можуть потрапити під загрозу витоку. > Під час самостійного водіння, якщо щось піде не так, ви можете отримати травму. Бувають і гірші результати. Але в програмному забезпеченні майже не має меж, наскільки жахливим щось може бути. > У певному сенсі програмна інженерія є набагато складнішою проблемою [ніж самостійне водіння]. Самостійне водіння – це лише одна з тисяч речей, які люди роблять. Це майже як одна вертикаль. Тоді як коли ми говоримо про загальну програмну інженерію, там більше площі поверхні. Потенційно є ще одна причина, чому широко розгорнутий перехід AGI на LLM -> може відбутися набагато швидше: LLM дають нам сприйняття, уявлення та здоровий глузд (щоб мати справу з прикладами поза дистрибуцією) безкоштовно, тоді як для безпілотних автомобілів їх потрібно формувати з нуля. Я запитав у Андрія з цього приводу: > я не знаю, скільки ми отримуємо безкоштовно. LLM все ще досить схильні до помилок, і вони мають багато прогалин, які все ще потрібно заповнити. Я не думаю, що ми отримуємо магічне узагальнення абсолютно нестандартно. > Ще один аспект, до якого я хотів би повернутися, полягає в тому, що безпілотні автомобілі ще далеко не завершені. Розгортання досить мінімальне. Навіть у Waymo дуже мало машин. Вони побудували щось, що живе в майбутньому. Їм довелося відтягнути майбутнє назад, але вони повинні були зробити його неекономічним. > Крім того, коли ви дивитеся на ці автомобілі і за кермом нікого немає, ви бачите, що в петлі більше людей, ніж ви могли б очікувати. У певному сенсі ми насправді не видалили людину, ми перемістили її в місце, де ви її не бачите.