¡Nueva tecnología de IA utiliza el 1% de la energía de la tecnología actual! Nuevo artículo: Aumenta la eficiencia de la IA utilizando tecnología similar a la del cerebro humano. Explicación del mapeo escaso topográfico. Los modelos de IA están creciendo en tamaño y utilizando más energía, lo que genera preocupaciones sobre la sostenibilidad. Un nuevo artículo de la Universidad de Surrey, publicado en Neurocomputing, presenta un método inspirado en el cerebro humano para hacer que la IA sea más eficiente. Titulado "Mapeo Escaso Topográfico: Un Marco de Entrenamiento Escaso Inspirado en Neurociencia para Modelos de Aprendizaje Profundo", muestra cómo reducir las conexiones en las redes neuronales mientras se mantiene o mejora la precisión. Entrenar grandes modelos de IA puede costar millones y utilizar tanta energía como cientos de hogares. Para 2030, los centros de datos podrían igualar el consumo energético de un país. Los investigadores Mohsen Kamelian Rad, Ferrante Neri, Sotiris Moschoyiannis y Bauer se inspiraron en el cableado organizado del cerebro en el sistema visual. Crearon el Mapeo Escaso Topográfico (TSM), que conecta características de entrada, como píxeles de imagen, solo a neuronas cercanas en la siguiente capa. Esto corta enlaces innecesarios desde el principio, acelerando el entrenamiento y mejorando los resultados. También desarrollaron el TSM Mejorado (ETSM), que elimina conexiones débiles durante el entrenamiento, como el cerebro refinando caminos. Esto lleva a una escasez del 99 por ciento, eliminando la mayoría de los enlaces, mientras se iguala o supera a los modelos densos en pruebas como MNIST (dígitos manuscritos), Fashion-MNIST (ropa), CIFAR-10 (imágenes simples) y CIFAR-100 (categorías detalladas). En CIFAR-100, el ETSM mejoró la precisión en un 14 por ciento sobre otros métodos escasos, utilizando menos recursos. El beneficio clave es el ahorro de energía: Estos modelos utilizan menos del 1 por ciento de la energía de los modelos estándar, con un entrenamiento más rápido y menores necesidades de memoria. Esto podría ayudar a construir hardware similar al cerebro y reducir el impacto ambiental de la IA. Puntos clave… 1. Diseño inspirado en el cerebro: TSM limita las conexiones a neuronas locales, reduciendo el desperdicio y ayudando a la generalización sin pasos adicionales. 2. Poda en ETSM: Elimina enlaces de bajo valor durante el entrenamiento, alcanzando una escasez del 99 por ciento sin perder precisión. 3. Resultados sólidos: Igualan o superan a los modelos densos en benchmarks, con grandes ganancias en tareas complejas como CIFAR-100. 4. Ganancias de eficiencia: Reduce la energía a menos del 1 por ciento de lo normal, acelera el entrenamiento y disminuye el uso de memoria. 5. Potencial futuro: Podría aplicarse a otros tipos de IA, apoyando un crecimiento sostenible y nuevo hardware. ...