Був радий приєднатися до ранкової доповіді на PyTorchCon. Багато веселих дискусій: RL є одним з найбільш перспективних рубежів, тому що він перевершує імітаційне навчання, оскільки воно вивчає цілі, а не демонстрації, виявляючи стратегії за межами навчальних даних, до яких не може дістатися контрольоване навчання, наприклад, сліди емерджентного мислення o1. Але попередня підготовка не мертва. Архітектурні прориви, такі як дифузійні моделі для кодування та DeltaNet, що покращують продуктивність асоціативної пам'яті, є перспективними рубежами. Моя філософія полягає в підтримці сміливих засновників, які будують на передових рубежах, наприклад, Voyage AI будує векторні вбудовування за багато років до того, як корпоративний пошук штучного інтелекту злетів.