Tbh jeg klarer ikke å følge med lenger... Dette ser ut til å være SOTA, ikke trent på Nvidia
steve hsu
steve hsu4. aug., 22:27
Huawei openPangu-Ultra-MoE-718B-modell Ingen Nvidia-teknologi pleide å bygge denne modellen - bare Ascend AI-brikker, CANN ikke CUDA. "... trent fra bunnen av på Ascend NPU, med et totalt antall parametere på 718B og 39B aktiverte parametere per token. OpenPangu-Ultra-MoE-718B er trent på omtrent 19 billioner tokens, og utstyrt med evnen til å veksle mellom rask og sakte tenkning." Ser ut til å være en toppmoderne modell, om ikke den beste åpne modellen som er tilgjengelig for øyeblikket. Link nedenfor - du kan laste den ned og bruke den
2,66K