+1 voor 'contexttechniek' in plaats van 'prompttechniek'. Mensen associëren prompts met korte taakbeschrijvingen die u een LLM zou geven in uw dagelijks gebruik. In elke LLM-app met industriële kracht is contexttechniek de delicate kunst en wetenschap om het contextvenster te vullen met precies de juiste informatie voor de volgende stap. Wetenschap, want om dit goed te doen, gaat het om taakbeschrijvingen en toelichtingen, weinig geschoten voorbeelden, RAG, gerelateerde (eventueel multimodale) data, tools, staat en geschiedenis, compacting... Te weinig of van de verkeerde vorm en de LLM heeft niet de juiste context om optimaal te presteren. Te veel of te irrelevant en de LLM-kosten kunnen stijgen en de prestaties kunnen dalen. Dit goed doen is hoogst niet triviaal. En kunst vanwege de leidende intuïtie rond LLM-psychologie van mensen, geesten. Naast de contextengineering zelf, moet een LLM-app: - Splits problemen op in controlestromen - Pak de contextvensters precies goed in - oproepen doorsturen naar LLM's van de juiste soort en capaciteit - het afhandelen van UIUX-stromen voor generatieverificatie - nog veel meer - vangrails, beveiliging, evals, parallellisme, prefetching, ... Contextengineering is dus slechts een klein stukje van een opkomende dikke laag niet-triviale software die individuele LLM-aanroepen (en nog veel meer) coördineert tot volledige LLM-apps. De term "ChatGPT-wrapper" is moe en heel, heel verkeerd.
tobi lutke
tobi lutke19 jun 2025
I really like the term “context engineering” over prompt engineering. It describes the core skill better: the art of providing all the context for the task to be plausibly solvable by the LLM.
1,89M