Naturlig konversation inkluderar avbrott och samtal över människor, vilket är svårt för en LLM att modellera som en enda autoregressiv sekvens. Jag är säker på att du kan komma ganska långt genom att skapa en textsekvens med filmmanusliknande pauser mitt i en mening, men det verkar som om den verkliga lösningen skulle innebära parallella strömmar av lyssnande och tänkande med prat som står i kö för pauser eller stiger till en avbrottsprioritet. Att blanda tokens från olika strömmar och göra något anpassat med uppmärksamhet verkar rimligt.