Jeg bestemte meg for å ta den hierarkiske resonnementmodellen og sette en teksttokenizer på den bare for å se hva som ville skje. Trente den på et instruksjonsinnstillingsdatasett (Alpakka), ble overrasket over å se tapet gå ned til ~1,9. Produserer godt mønstersøppel akkurat nå fortsatt, trenger sannsynligvis fortrening, men dette er ganske stort hvis det fungerer ...