Var glad över att gå med i morgonens keynote för PyTorchCon. Massor av roliga diskussioner: RL är en av de mest lovande gränserna eftersom den överträffar imitationsinlärning eftersom den lär sig mål inte demonstrationer, och upptäcker strategier utöver träningsdata som övervakad inlärning inte kan nå, som o1:s framväxande resonemangsspår. Men förträningen är inte död. Arkitektoniska genombrott som diffusionsmodeller för kodning och DeltaNet som förbättrar associativ minnesprestanda är lovande gränser. Min filosofi är att stödja djärva grundare som bygger vid gränserna, t.ex. Voyage AI som bygger vektorinbäddningar flera år innan AI-sökning för företag tog fart.