"Kaikki sanovat, että tekoälyarvioinnit ovat tärkeitä, joten rakennetaan sellainen suorana tyhjästä." Tässä on uusi jaksoni @_amankhan:n (Arize) kanssa, jossa rakennamme tekoälyvalleja asiakastukiagentille livenä, mukaan lukien: ✅ Eval-kriteerien luominen ✅ Kultaisen tietojoukon merkitseminen ✅ LLM-tuomareiden sovittaminen ihmisten pisteisiin Joitakin näkemyksiä Amanilta: 1. PM:n on tehtävä manuaaliset merkinnät itse. "En koskaan pitänyt hyödyllisenä ulkoistaa ihmishankintoja urakoitsijoille. Pääministerin on oltava laskentataulukossa säilyttääkseen hyvän harkintakyvyn." 2. Määrittele, miltä hyvä/keskimääräinen/huono näyttää esimerkiksi tarkkuuden ja sävyn perusteella. Tästä tulee otsikko johdonmukaista arviointia varten koko tiimissäsi. 3. Varmista, että LLM-tuomarisi ovat linjassa ihmispisteidesi kanssa ennen skaalaamista. Testaa tuomareita ensin muutamassa kymmenessä tapauksessa ja pyri vähintään 80%+ vastaavuusprosenttiin. 📌 Katso nyt: Saatavilla myös: Spotify: Omena: Uutiskirje: