Als ich bei Google arbeitete, hatte ich das Glück, mit einigen der brillantesten Maschinenlern- (ML) Ingenieure zusammenzuarbeiten. Sie arbeiteten an der Merkmalsentwicklung. Indem sie die Faktoren auswählten, die das ML-Modell leiten sollten, konnten ihre Fortschritte Dutzende bis Hunderte von Millionen zusätzlichen Umsatz generieren. Stellen Sie sich eine Excel-Tabelle mit Hunderten von Datenkolonnen vor. Fügen Sie zwei Spalten hinzu, multiplizieren Sie zwei, dividieren Sie durch eine andere und subtrahieren Sie eine vierte. Jede dieser Spalten ist ein Merkmal. ML-Modelle verwendeten Merkmale, um die beste Anzeige vorherzusagen, die angezeigt werden sollte. Es begann als Handwerk, das die Stimmung der Zeit widerspiegelte. Im Laufe der Zeit haben wir diese Kunst in eine Maschine namens AutoML mechanisiert, die die Entdeckung der richtigen Merkmale massiv beschleunigt. Heute befindet sich das Reinforcement Learning (RL) an dem gleichen Punkt wie die Merkmalsentwicklung vor 15 Jahren. Was ist RL? Es ist eine Technik, um KI beizubringen, Ziele zu erreichen. Stellen Sie sich einen mutigen Roomba vor. Er dringt in einen schmutzigen Raum ein. Dann muss er einen Reinigungsplan erstellen und ausführen. Die Erstellung des Plans ist Schritt 1. Um den Plan zu vervollständigen, wird er sich, wie jeder gute Arbeiter, belohnen, nicht mit einer Tischfußballpause, sondern mit einigen Punkten. Seine Belohnungsfunktion könnte sein: +0,1 für jeden neuen Quadratfuß, der gereinigt wird, -5 für das Anstoßen gegen eine Wand und +100 für die Rückkehr zu seiner Dockingstation mit einem vollen Staubbehälter. Das Verhalten des unermüdlichen Staubsaugers wird durch diese einfache Arithmetik geformt. (NB: Ich vereinfache hier ein wenig.) Heute kann KI den Plan erstellen, ist aber noch nicht in der Lage, die Belohnungsfunktionen zu entwickeln. Die Menschen tun dies, ähnlich wie wir vor 15 Jahren Merkmale entwickelten. Werden wir ein AutoRL sehen? Nicht so bald. Die Techniken für RL sind noch umstritten. Andrej Karpathy hat die Debatte in einem kürzlichen Podcast hervorgehoben. Diese aktuelle Welle der KI-Verbesserung könnte von dem Erfolg des RL abhängen. Heute ist es sehr viel ein Handwerk. Das Potenzial, es zu automatisieren – bis zu einem gewissen Grad oder vollständig – wird die Art und Weise, wie wir agentische Systeme bauen, transformieren.