3 parasta käytäntöä tekoälyarviointien kirjoittamiseen: 1. Tasapainota nopeus ja kurinalaisuus Aloita tusinalla testitapauksella ja iteroi sieltä. Älä rakenna 100:aa, kun teet vielä suuria nopeita muutoksia. Tunnista ja korjaa suurimmat vikatilat ja laajenna sitten kattavuutta. 2. Pakkomielle arvokkaista kriteereistä ja manuaalisista merkinnöistä Eval-kriteerisi ja kultainen tietojoukkosi ovat kaiken muun perusta. Tätä manuaalista työtä ei voi kiertää laskentataulukoissa - pakkomielle tehdä ihmisetiketeistäsi hyviä. 3. Älä skaalaa LLM-tuomaria ennenaikaisesti Pyri ~80 %:n linjaukseen LLM-tuomarin ja ihmisten merkitsejien välillä ennen skaalausta. Tarkasta tulokset säännöllisesti - älä oleta, että se on aina oikein. Huomenna jaan aloittelijan oppaan tekoälyarvioinneista, jossa käydään läpi vaiheittainen esimerkki, jota kuka tahansa voi seurata. 📌 Rekisteröidy saadaksesi sen postilaatikkoosi: (P.S. Näin kuvittelen, miltä LLM-tuomari näyttää)