+1 "kontekstisuunnittelulle" "nopean suunnittelun" sijaan. Ihmiset yhdistävät kehotteet lyhyisiin tehtäväkuvauksiin, joille antaisit LLM:n päivittäisessä käytössäsi. Jokaisessa teollisessa LLM-sovelluksessa kontekstisuunnittelu on herkkää taidetta ja tiedettä kontekstiikkunan täyttämiseksi juuri oikeilla tiedoilla seuraavaa vaihetta varten. Tiede, koska tämän tekeminen oikein sisältää tehtäväkuvauksia ja selityksiä, muutamia laukausesimerkkejä, RAG:ia, niihin liittyvää (mahdollisesti multimodaalista) dataa, työkaluja, tilaa ja historiaa, tiivistämistä... Liian vähän tai väärässä muodossa, eikä LLM:llä ole oikeaa kontekstia optimaaliseen suorituskykyyn. Liikaa tai liian epäolennaista, ja LLM-kustannukset voivat nousta ja suorituskyky laskea. Tämän tekeminen hyvin ei ole triviaalia. Ja taidetta ohjaavan intuition vuoksi, joka liittyy ihmisten henkien LLM-psykologiaan. Itse kontekstisuunnittelun lisäksi LLM-sovelluksen on: - pilkkoa ongelmat suoraan ohjausvirtoihin - Pakkaa kontekstiikkunat juuri oikein - lähettää puheluita oikeanlaisille ja kyvykkäille LLM:ille - käsitellä sukupolven todentamisen UIUX-virtoja - paljon muuta - suojakaiteet, turvallisuus, valit, rinnakkaisuus, esihaku, ... Kontekstisuunnittelu on siis vain yksi pieni osa nousevaa paksua ei-triviaalia ohjelmistokerrosta, joka koordinoi yksittäisiä LLM-kutsuja (ja paljon muuta) täydellisiksi LLM-sovelluksiksi. Termi "ChatGPT-kääre" on väsynyt ja todella, todella väärä.