Olin innoissani voidessani liittyä PyTorchConin aamun pääpuheenvuoroon. Paljon hauskoja keskusteluja: RL on yksi lupaavimmista rajoista, koska se päihittää jäljitelmäoppimisen, koska se oppii tavoitteita eikä demonstraatioita, ja löytää koulutusdatan ulkopuolisia strategioita, joita ohjattu oppiminen ei saavuta, kuten o1:n esiin nousevat päättelyjäljet. Mutta esiharjoittelu ei ole kuollut. Arkkitehtoniset läpimurrot, kuten koodauksen diffuusiomallit ja assosiatiivisen muistin suorituskykyä parantava DeltaNet, ovat lupaavia rajoja. Filosofiani on tukea rohkeita perustajia, jotka rakentavat rajoilla, esimerkiksi Voyage AI rakentaa vektoriupotuksia vuosia ennen kuin yritysten tekoälyhaku lähti liikkeelle.