Die kleine schwarze Box in der Mitte ist der Code für maschinelles Lernen. Ich erinnere mich, dass ich Googles 2015 veröffentlichtes Papier über die versteckte technische Schulden im ML gelesen habe und dachte, wie wenig von einer Anwendung für maschinelles Lernen tatsächlich maschinelles Lernen war. Der Großteil bestand aus Infrastruktur, Datenmanagement und operationeller Komplexität. Mit dem Aufkommen von KI schien es, als würden große Sprachmodelle diese Boxen übernehmen. Das Versprechen war Einfachheit: ein LLM einfügen und zusehen, wie es alles von Kundenservice bis zur Code-Generierung übernimmt. Keine komplexen Pipelines oder brüchigen Integrationen mehr. Aber beim Aufbau interner Anwendungen haben wir ein ähnliches Muster mit KI beobachtet. Agenten benötigen viel Kontext, wie ein Mensch: Wie ist das CRM strukturiert, was geben wir in jedes Feld ein - aber die Eingabe ist teuer für das hungrige, hungrige KI-Modell. Die Kosten zu senken bedeutet, deterministische Software zu schreiben, um das Denken der KI zu ersetzen. Zum Beispiel bedeutet die Automatisierung des E-Mail-Managements, Werkzeuge zu schreiben, um Asana-Aufgaben zu erstellen und das CRM zu aktualisieren. Wenn die Anzahl der Werkzeuge zehn oder fünfzehn übersteigt, funktioniert das Aufrufen von Werkzeugen nicht mehr. Es ist Zeit, ein klassisches Modell für maschinelles Lernen zu entwickeln, um Werkzeuge auszuwählen. Dann gibt es das Überwachen des Systems mit Beobachtbarkeit, die Bewertung, ob es leistungsfähig ist, und das Routing zum richtigen Modell. Darüber hinaus gibt es eine ganze Kategorie von Software, die sicherstellt, dass die KI das tut, was sie tun soll. Sicherheitsvorkehrungen verhindern unangemessene Antworten. Die Ratenbegrenzung stoppt die Kosten, die außer Kontrolle geraten, wenn ein System verrückt spielt. Die Informationsbeschaffung (RAG - retrieval augmented generation) ist für jedes Produktionssystem unerlässlich. In meiner E-Mail-App verwende ich eine LanceDB-Vektordatenbank, um alle E-Mails von einem bestimmten Absender zu finden und ihren Ton zu erfassen. Es gibt andere Techniken für das Wissensmanagement rund um Graph RAG und spezialisierte Vektordatenbanken. In letzter Zeit ist das Gedächtnis viel wichtiger geworden. Die Befehlszeilenoberflächen für KI-Tools speichern den Verlauf der Gespräche als Markdown-Dateien. Wenn ich Diagramme veröffentliche, möchte ich die Theorie Ventures-Beschriftung unten rechts, eine bestimmte Schriftart, Farben und Stile. Diese werden jetzt alle in .gemini- oder .claude-Dateien in einer Reihe von kaskadierenden Verzeichnissen gespeichert. Die ursprüngliche Einfachheit großer Sprachmodelle wurde von der Produktionskomplexität auf Unternehmensniveau überlagert. Das ist nicht identisch mit der vorherigen Generation von Systemen für maschinelles Lernen, folgt aber einem klaren Parallel. Was wie eine einfache "KI-Magie-Box" erschien, stellt sich als Eisberg heraus, wobei der Großteil der Ingenieursarbeit unter der Oberfläche verborgen ist.