Immer mehr überzeugt, dass Prefill und Decoding als separate Märkte innerhalb der Inferenz entstehen werden. Für jeden werden unterschiedliche Systeme verwendet; offensichtlich müssen sie zusammenarbeiten. Wahrscheinlich noch 18 Monate entfernt.
73,37K