Очевидно, что такое же поведение возникло бы в цепи Маркова с N-граммами. LLM просто предсказывают следующий токен, и дальнейший анализ не требуется.