Toen ik bij Google werkte, had ik het geluk om samen te werken met enkele van de slimste machine learning (ML) ingenieurs. Ze werkten aan feature engineering. Door de factoren te kiezen die het ML-model moesten aansteken, konden hun vooruitgangen tientallen tot honderden miljoenen extra omzet genereren. Stel je een Excel-spreadsheet voor met honderden kolommen gegevens. Voeg twee kolommen toe, vermenigvuldig er twee, deel door een andere en trek een vierde af. Elk van deze is een feature. ML-modellen gebruikten features om de beste advertentie te voorspellen die getoond moest worden. Het begon als een ambacht, dat de sfeer van het tijdperk weerspiegelde. In de loop der tijd hebben we deze kunst omgevormd tot een machine genaamd AutoML die de ontdekking van de juiste features enorm versnelt. Vandaag de dag staat reinforcement learning (RL) op dezelfde plek als feature engineering 15 jaar geleden. Wat is RL? Het is een techniek om AI te leren doelen te bereiken. Stel je een dappere Roomba voor. Het dringt een vuile kamer binnen. Dan moet het een schoonmaakplan maken en uitvoeren. Het creëren van het plan is stap 1. Om het plan te voltooien, zoals elke goede werknemer, zal het zichzelf belonen, niet met een foosballpauze, maar met enkele punten. De beloningsfunctie zou kunnen zijn: +0,1 voor elke nieuwe vierkante voet die schoongemaakt is, -5 voor het tegen een muur botsen, en +100 voor het terugkeren naar zijn dock met een volle stofcontainer. Het gedrag van de onvermoeibare stofzuiger wordt gevormd door deze eenvoudige rekenkunde. (NB: Ik vereenvoudig hier behoorlijk.) Tegenwoordig kan AI het plan maken, maar is het nog niet in staat om de beloningsfuncties te ontwikkelen. Mensen doen dit, net zoals we 15 jaar geleden features ontwikkelden. Zullen we een AutoRL zien? Niet voor een tijdje. De technieken voor RL zijn nog steeds onderwerp van debat. Andrej Karpathy benadrukte het debat in een recente podcast. Deze huidige golf van AI-verbetering zou kunnen afhangen van het succes van RL. Vandaag de dag is het nog steeds een ambacht. Het potentieel om het te automatiseren - tot op zekere hoogte of volledig - zal de manier waarop we agentische systemen bouwen transformeren.