Ääniagentti, jonka voimanlähteenä on gpt-oss. Toimii paikallisesti macBookissani. Demo, joka on tallennettu Waymossa, kun WiFi on pois päältä. Olen tietysti edelleen avaruuspelien ääni AI-potkussa. Koodilinkki alla. Keskustelevassa äänitekoälyssä haluat asettaa gpt-oss-päättelykäyttäytymisen arvoon "matala". (Oletusarvo on "keskitaso".) Muistiinpanot siitä, miten se tehdään, ja jinja-malli, jota voit käyttää, ovat repossa. Demovideon LLM on iso, 120B versio gpt-oss:stä. Voit tietysti käyttää tähän pienempää, 20B mallia. Mutta OpenAI teki todella hienon asian tässä suunnitellessaan 120B-mallin toimimaan "vain" 80 Gt:n VRAM-muistissa. Ja llama.cpp mlx-päättely on nopea: ~250ms TTFT. Ison mallin käyttäminen laitteessa tuntuu aikavääntymiseltä tekoälyn tulevaisuuteen.