Jag bestämde mig för att ta den hierarkiska resonemangsmodellen och sätta en texttokenizer på den bara för att se vad som skulle hända. Tränade den på en instruktionsinställningsdatauppsättning (Alpaca), blev förvånad över att se förlusten gå ner till ~1,9. Producerar välskodda sopor just nu fortfarande, behöver förutbildning förmodligen, men det här är ganska stort om det fungerar...