Wyraźnie to samo zachowanie pojawiłoby się w łańcuchu Markowa N-gram. LLM-y po prostu przewidują następny token i nie jest potrzebna dalsza analiza.