Nouvelle technologie AI utilisant 1 % de l'énergie de la technologie actuelle ! Nouvel article : Augmente l'efficacité de l'IA en utilisant une technologie inspirée du cerveau humain. Cartographie sparse topographique expliquée. Les modèles d'IA deviennent de plus en plus grands et consomment plus d'énergie, soulevant des inquiétudes concernant la durabilité. Un nouvel article de l'Université de Surrey, publié dans Neurocomputing, introduit une méthode inspirée du cerveau humain pour rendre l'IA plus efficace. Intitulé "Cartographie Sparse Topographique : Un cadre d'entraînement sparse inspiré du neuro pour les modèles d'apprentissage profond," il montre comment réduire les connexions dans les réseaux neuronaux tout en maintenant ou en améliorant la précision. Former de grands modèles d'IA peut coûter des millions et consommer autant d'énergie que des centaines de foyers. D'ici 2030, les centres de données pourraient égaler la consommation énergétique d'un pays. Les chercheurs Mohsen Kamelian Rad, Ferrante Neri, Sotiris Moschoyiannis et Bauer se sont inspirés du câblage organisé du cerveau dans le système visuel. Ils ont créé la Cartographie Sparse Topographique (CST), qui connecte les caractéristiques d'entrée, comme les pixels d'image, uniquement aux neurones voisins dans la couche suivante. Cela élimine les liens inutiles dès le départ, accélérant l'entraînement et améliorant les résultats. Ils ont également développé la CST Améliorée (CSTA), qui élaguer les connexions faibles pendant l'entraînement, comme le cerveau affine les voies. Cela conduit à 99 % de sparsité—en supprimant la plupart des liens—tout en égalant ou en surpassant les modèles denses sur des tests comme MNIST (chiffres manuscrits), Fashion-MNIST (vêtements), CIFAR-10 (images simples) et CIFAR-100 (catégories détaillées). Sur CIFAR-100, la CSTA a amélioré la précision de 14 % par rapport à d'autres méthodes spars, en utilisant moins de ressources. Le principal avantage est l'économie d'énergie : ces modèles utilisent moins de 1 % de l'énergie des modèles standards, avec un entraînement plus rapide et des besoins en mémoire réduits. Cela pourrait aider à construire du matériel semblable au cerveau et à réduire l'impact environnemental de l'IA. Points clés… 1. Conception inspirée du cerveau : la CST limite les connexions aux neurones locaux, réduisant le gaspillage et aidant à la généralisation sans étapes supplémentaires. 2. Élagage dans la CSTA : supprime les liens de faible valeur pendant l'entraînement, atteignant 99 % de sparsité sans perdre en précision. 3. Résultats solides : égalent ou dépassent les modèles denses sur les benchmarks, avec de grands gains sur des tâches complexes comme CIFAR-100. 4. Gains d'efficacité : réduit l'énergie à moins de 1 % des normes, accélère l'entraînement et diminue l'utilisation de la mémoire. 5. Potentiel futur : pourrait s'appliquer à d'autres types d'IA, soutenant une croissance durable et un nouveau matériel. ...