Nuova tecnologia AI utilizza l'1% della potenza della tecnologia attuale! Nuovo documento: Aumenta l'efficienza dell'AI utilizzando una tecnologia simile a quella del cervello umano Mappatura sparsa topografica spiegata I modelli di AI stanno diventando sempre più grandi e utilizzano più energia, sollevando preoccupazioni sulla sostenibilità. Un nuovo documento dell'Università di Surrey, pubblicato su Neurocomputing, introduce un metodo ispirato al cervello umano per rendere l'AI più efficiente. Intitolato "Mappatura Sparsa Topografica: Un Framework di Allenamento Sparso Ispirato al Cervello per Modelli di Deep Learning," mostra come ridurre le connessioni nelle reti neurali mantenendo o migliorando l'accuratezza. Addestrare grandi modelli di AI può costare milioni e utilizzare tanta energia quanto centinaia di case. Entro il 2030, i data center potrebbero eguagliare il consumo energetico di un paese. I ricercatori Mohsen Kamelian Rad, Ferrante Neri, Sotiris Moschoyiannis e Bauer si sono ispirati al cablaggio organizzato del cervello nel sistema visivo. Hanno creato la Mappatura Sparsa Topografica (TSM), che collega le caratteristiche di input, come i pixel delle immagini, solo ai neuroni vicini nel livello successivo. Questo taglia i collegamenti non necessari fin dall'inizio, accelerando l'addestramento e migliorando i risultati. Hanno anche sviluppato la TSM Potenziata (ETSM), che pota le connessioni deboli durante l'addestramento, proprio come il cervello affina i percorsi. Questo porta a una sparsa del 99%—rimuovendo la maggior parte dei collegamenti—mantenendo o superando i modelli densi nei test come MNIST (cifre scritte a mano), Fashion-MNIST (abbigliamento), CIFAR-10 (immagini semplici) e CIFAR-100 (categorie dettagliate). Su CIFAR-100, ETSM ha migliorato l'accuratezza del 14% rispetto ad altri metodi sparsi, utilizzando meno risorse. Il principale vantaggio è il risparmio energetico: questi modelli utilizzano meno dell'1% della potenza di quelli standard, con un addestramento più veloce e minori esigenze di memoria. Questo potrebbe aiutare a costruire hardware simile al cervello e ridurre l'impatto ambientale dell'AI. Punti chiave… 1. Design ispirato al cervello: TSM limita le connessioni ai neuroni locali, riducendo gli sprechi e facilitando la generalizzazione senza passaggi extra. 2. Potatura in ETSM: Rimuove i collegamenti a basso valore durante l'addestramento, raggiungendo il 99% di sparsa senza perdere accuratezza. 3. Risultati solidi: Eguaglia o supera i modelli densi nei benchmark, con grandi guadagni in compiti complessi come CIFAR-100. 4. Guadagni di efficienza: Riduce l'energia a meno dell'1% dei normali, accelera l'addestramento e abbassa l'uso della memoria. 5. Potenziale futuro: Potrebbe applicarsi ad altri tipi di AI, supportando una crescita sostenibile e nuovo hardware. ...