Aegaeon: Pengumpulan GPU yang Efektif untuk Layanan LLM Bersamaan di Pasar Beida dan Alibaba Cloud Aegaeon telah diterapkan secara beta di Alibaba Cloud Model Studio selama lebih dari tiga bulan, saat ini melayani puluhan model yang berkisar dari parameter 1,8 miliar hingga 72 miliar. Ini mengurangi jumlah GPU yang diperlukan untuk melayani model ini dari 1.192 menjadi 213, menyoroti penghematan sumber daya GPU 82%