Postanowiłem wziąć model rozumowania hierarchicznego i nałożyć na niego tokenizer tekstu, żeby zobaczyć, co się stanie. Wytrenowałem go na zbiorze danych do dostosowywania instrukcji (Alpaca) i byłem zdumiony, widząc, że strata spadła do ~1.9. Obecnie produkuje dobrze uformowane śmieci, ale prawdopodobnie potrzebuje wstępnego treningu, ale to jest dość duże, jeśli to zadziała...