Rozhodl jsem se vzít model hierarchického uvažování a plácnout na něj textový tokenizér, abych viděl, co se stane. Trénoval jsem ho na datovém souboru dat pro ladění instrukcí (Alpaca) a byl jsem ohromen, když jsem viděl, že ztráta klesla na ~1,9. Produkuje dobře vzorný odpad právě teď, pravděpodobně potřebuje předtrénink, ale tohle je docela velké, pokud to funguje...