Când am lucrat la Google, am avut norocul să colaborez cu unii dintre cei mai străluciți ingineri de învățare automată (ML). Au lucrat la ingineria caracteristicilor. Alegând factorii care ghidează modelul ML, progresele lor ar putea genera zeci până la sute de milioane de venituri suplimentare. Imaginați-vă o foaie de calcul Excel cu sute de coloane de date. Adăugați două coloane, înmulțiți două, împărțiți cu alta și scădeți o a patra. Fiecare dintre acestea este o caracteristică. Modelele ML au folosit funcții pentru a prezice cea mai bună reclamă de afișat. A început ca un meșteșug, reflectând vibrațiile epocii. De-a lungul timpului, am mecanizat această artă într-o mașină numită AutoML care accelerează masiv descoperirea caracteristicilor potrivite. Astăzi, învățarea prin întărire (RL) este în același loc ca ingineria caracteristicilor de acum 15 ani. Ce este RL? Este o tehnică de învățare a inteligenței artificiale pentru a-și atinge obiectivele. Luați în considerare un Roomba curajos. Apasă într-o cameră murdară. Apoi trebuie să facă un plan de curățare și să-l execute. Crearea planului este pasul 1. Pentru a finaliza planul, ca orice muncitor bun, se va răsplăti, nu cu o pauză de foosball, ci cu câteva puncte. Funcția sa de recompensă ar putea fi: +0,1 pentru fiecare metru pătrat nou curățat, -5 pentru lovirea unui perete și +100 pentru întoarcerea la doc cu coșul de gunoi plin. Comportamentul vidului neobosit este modelat de această aritmetică simplă. (NB: Simplific destul de mult aici.) Astăzi, AI poate crea planul, dar nu este încă capabilă să dezvolte funcțiile de recompensă. Oamenii fac asta, la fel cum am dezvoltat funcții acum 15 ani. Vom vedea un AutoRL? Nu pentru o vreme. Tehnicile pentru RL sunt încă în dezbatere. Andrej Karpathy a evidențiat dezbaterea într-un podcast recent. Acest val actual de îmbunătățire AI ar putea depinde de succesul RL. Astăzi, este foarte mult un meșteșug. Potențialul de a-l automatiza – într-o anumită măsură sau complet – va transforma modul în care construim sisteme agentice.