Am fost încântat să mă alătur distanței de dimineață pentru PyTorchCon. O mulțime de discuții distractive: RL este una dintre cele mai promițătoare frontiere, deoarece depășește învățarea prin imitație, deoarece învață obiective, nu demonstrații, descoperind strategii dincolo de datele de antrenament pe care învățarea supravegheată nu le poate atinge, cum ar fi urmele de raționament emergente ale lui o1. Dar pre-antrenamentul nu este mort. Descoperirile arhitecturale, cum ar fi modelele de difuzie pentru codare și DeltaNet, care îmbunătățesc performanța memoriei asociative, sunt frontiere promițătoare. Filozofia mea este de a susține fondatorii îndrăzneți care construiesc la frontiere, de exemplu, Voyage AI construind încorporari vectoriale cu ani înainte ca căutarea AI să decoleze.