Natuurlijke gesprekken omvatten onderbrekingen en het over elkaar heen praten, wat moeilijk is voor een LLM om te modelleren als een enkele autoregressieve reeks. Ik weet zeker dat je behoorlijk ver kunt komen door een tekstsequentie te creëren met film-scriptachtige pauzes halverwege de zin, maar het lijkt erop dat de echte oplossing zou inhouden dat er parallelle stromen van luisteren en denken zijn, met praten dat in de wachtrij staat voor pauzes of dat op een onderbrekingsprioriteit stijgt. Het door elkaar mengen van tokens uit verschillende stromen en iets op maat doen met aandacht lijkt plausibel.