Une conversation naturelle inclut des interruptions et le fait de parler par-dessus les gens, ce qui est difficile pour un LLM à modéliser comme une seule séquence autoregressive. Je suis sûr que vous pouvez aller assez loin en créant une séquence de texte avec des pauses de type scénario de film en plein milieu de la phrase, mais il semble que la véritable solution impliquerait des flux parallèles d'écoute et de réflexion avec la parole en attente pour les pauses ou en priorité d'interruption. Mélanger des tokens de différents flux et faire quelque chose de personnalisé avec l'attention semble plausible.