Sempre più convinto che il prefill e il decode emergeranno come mercati distinti all'interno dell'inferenza. Sistemi diversi saranno utilizzati per ciascuno; ovviamente dovranno lavorare insieme. Probabilmente a 18 mesi di distanza.
73,36K