Coraz bardziej przekonany, że prefill i decode staną się odrębnymi rynkami w ramach inferencji. Różne systemy będą używane dla każdego z nich; oczywiście będą musiały współpracować. Prawdopodobnie za 18 miesięcy.
73,38K