Byłem podekscytowany, aby dołączyć do porannego wystąpienia na PyTorchCon. Dużo ciekawych dyskusji: RL jest jednym z najbardziej obiecujących obszarów, ponieważ przewyższa uczenie przez naśladowanie, ucząc się celów, a nie demonstracji, odkrywając strategie wykraczające poza dane treningowe, do których uczenie nadzorowane nie ma dostępu, jak ślady emergentnego rozumowania o1. Ale wstępne szkolenie nie umarło. Przełomy architektoniczne, takie jak modele dyfuzji do kodowania i DeltaNet poprawiający wydajność pamięci asocjacyjnej, to obiecujące obszary. Moja filozofia polega na wspieraniu odważnych założycieli, którzy budują na granicach, np. Voyage AI budującego osadzenia wektorowe lata przed tym, jak wyszukiwanie AI w przedsiębiorstwach zyskało na popularności.