Aegaeon: Tehokas GPU-poolaus samanaikaiseen LLM-palveluun markkinoilla Beida ja Alibaban pilvi Aegaeon on ollut beta-käytössä Alibaba Cloud Model Studiossa yli kolmen kuukauden ajan, ja se palvelee tällä hetkellä kymmeniä malleja, jotka vaihtelevat 1.8 miljardista 72 miljardiin parametreihin. Se vähentää näiden mallien palvelemiseen tarvittavien GPU:iden määrää 1 192:sta 213:een, mikä korostaa 82 %:n GPU-resurssien säästöä