Am decis să iau modelul de raționament ierarhic și să-i pun un tokenizator de text doar pentru a vedea că se va întâmpla. L-am antrenat pe un set de date de reglare a instrucțiunilor (Alpaca), am fost uimit să vadă că pierderea a scăzut la ~1,9. Produce gunoi bine pregătit în acest moment, probabil că are nevoie de pregătire prealabilă, dar acest lucru este cam mare dacă funcționează...